近日,哔哩哔哩(B 站)Index 团队宣布全面开源其自主研发的文本转语音(TTS)系统 ——IndexTTS-2.0。该系统具有情感可控和时长可调的特点,标志着零样本 TTS 技术的实用化迈出了重要一步。

​B 站开源文本转语音模型IndexTTS-2.0,情感与时长可控

在语音合成领域,时长控制和情感表达一直是行业内的技术难题。为了克服这些问题,IndexTTS-2.0引入了两项核心创新:首先是时间编码机制。这一机制在自回归 TTS 架构中首次应用,极大提升了语音时长控制的精度,使得生成的语音更加稳定和自然,语音节奏得以精准调控。其次是音色与情感解耦建模。该系统采用创新的解耦建模方式,允许用户在多种情感调节方式中选择,包括单一音频参考、独立的情感参考音频、情感向量以及文本描述等。这种灵活性大幅提升了合成语音的表现力,满足了用户对情感表达的不同需求。

从官方示例来看,IndexTTS-2.0能够广泛应用于 AI 配音、有声读物、动态漫画、视频翻译、语音对话及播客制作等多种场景,为语音合成技术的应用拓宽了边界。特别是在全球内容出海方面,IndexTTS-2.0提供了重要的技术支持,使跨语言视频实现接近 “无差别” 的本地化体验。无论是中文用户观看外语内容,还是海外用户观看中文视频,都能在保留原声风格与情感的基础上,获得更自然、更沉浸的听觉体验。这一技术突破降低了优质内容跨语言传播的门槛,为 AIGC 技术在全球的落地提供了坚实基础。

目前,IndexTTS-2.0的项目论文、完整代码、模型权重以及在线体验页面已同步开源。IndexTTS 团队表示,未来将持续优化模型性能,并与开发者社区合作,推动多语种交流和全球文化互联互通的语音技术生态的建设。

在线体验地址:

https://huggingface.co/spaces/IndexTeam/IndexTTS-2-Demo

划重点:

🌟 B 站的 IndexTTS-2.0系统已全面开源,具备情感可控与时长可调功能。  

🕒 引入时间编码机制和解耦建模,提升了语音合成的自然性与表现力。  

🌍 该系统为全球内容出海提供技术支持,使跨语言视频本地化体验更佳。