arXiv ID:
2607.06540
arXiv 提交日期: 2026-07-07
层次化声学-语义建模:全双工语音语言模型的模态分离与语义连贯性 / Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs
1️⃣ 一句话总结
本文揭示了全双工语音语言模型中音频与语义信息互相干扰的根本原因——深层参数共享导致梯度冲突,并提出一种层次化参数分离框架,在解耦矛盾模态的同时保持语义一致性,从而显著提升模型在语音问答和全双工交互中的自然度与流畅性。