📄 论文总结
VIBE VOICE：基于下一代扩散框架的长文本多说话人语音合成模型
VIBE VOICE: A Next-Generation Diffusion Framework for Long-Form Multi-Speaker Speech Synthesis
1️⃣ 一句话总结
VIBE VOICE是一种创新的语音合成模型，通过结合连续语音分词器、双分词器设计和基于LLM的令牌级扩散机制，实现了高质量、高效率的长文本多说话人语音生成，并在多项评测中达到最先进性能。
2️⃣ 论文创新点
1. 连续语音分词器
- 创新点是什么：一种新型的连续语音分词器，用于数据压缩和高效处理长序列语音数据。
- 与已有方法的区别/改进：与Encodec模型相比，数据压缩率提高了80倍。
- 为什么有意义：显著提高计算效率，支持长形式语音合成，同时保持音频保真度。
2. 双分词器设计
- 创新点是什么：使用独立的声学分词器（σ-VAE变体）和语义分词器（ASR代理任务）分别提取声学和语义特征。
- 与已有方法的区别/改进：解决了长语音生成中特征分离问题，避免VAE方差崩溃。
- 为什么有意义：为流式语音合成提供更稳定的多模态特征表示。
3. 令牌级扩散机制
- 创新点是什么：在LLM隐藏状态上条件化轻量级扩散头，通过CFG和DPM-Solver++实现高效去噪。
- 与已有方法的区别/改进：将扩散过程应用于令牌级别，支持流式生成。
- 为什么有意义：实现高保真语音合成的同时保持生成效率。
4. 多说话人输入表示
- 创新点是什么：通过角色标识符交错拼接声学潜在表示和文本脚本。
- 与已有方法的区别/改进：统一的多说话人输入格式。
- 为什么有意义：支持灵活的多角色语音合成场景。
3️⃣ 主要结果与价值
实验结果亮点
- VIBE VOICE-7B模型在长对话语音生成的主观评估（Realism、Richness、Preference）和客观指标（WER、SIM）上均超越其他顶级模型
- 在LibriTTS数据集上的客观评估（PESQ、STOI、UTMOS分数）显示其声学分词器在7.5Hz超低帧率下的高保真重建能力
- VIBE VOICE-1.5B在短语音SEED测试集上展现了强大的泛化能力，在中文CER和SIM指标上具有竞争力
实际应用价值
- 可在64K上下文窗口长度内合成长达90分钟的语音，最多支持4个说话人
- 能够捕捉真实的对白"氛围"，超越开源和专有对话模型
- 为工业级生成式语音应用提供基础框架，推动TTS技术在工业场景的落地
4️⃣ 术语表
- VIBE VOICE：基于LLM和扩散模型的多说话人语音合成系统，采用双分词器架构和令牌级扩散机制
- next-token diffusion：一种统一建模连续数据的方法，通过自回归生成潜在向量via扩散
- σ-VAE：变分自编码器变体，使用预定义方差分布而非可学习方差，避免自回归建模中的方差崩溃问题
- WER (Word Error Rate)：词错误率，用于评估语音识别或语音合成系统输出文本与参考文本之间的差异，数值越低越好
- SIM (Speaker Similarity)：说话人相似度，通过比较生成语音与目标说话人语音的嵌入向量来计算，用于衡量合成语音在音色上的相似程度，数值越高越好
- PESQ：Perceptual Evaluation of Speech Quality，语音质量感知评估，一种评估电话网络和编解码器语音质量的方法
- LibriTTS：用于语音合成研究的标准数据集，包含test-clean和test-other子集
- UTMOS：UTokyo-SaruLab系统，用于VoiceMOS Challenge 2022的语音质量评估