arXiv ID:
2606.25444
arXiv 提交日期: 2026-06-24
翻译增强的语音编码器预训练是否会影响语音大语言模型? / Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs?
1️⃣ 一句话总结
本文发现,在语音编码器的预训练中加入翻译任务,能够解决语音编码器与大语言模型之间的语言表示不匹配问题,从而显著提升语音大语言模型在多种下游任务中的表现。