arXiv ID:
2606.03967
arXiv 提交日期: 2026-06-02
AlignAtt4LLM:面向仅解码器大语言模型的快速对齐注意力机制——应用于IWSLT 2026同声传译任务 / AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task
1️⃣ 一句话总结
本文提出了一种名为AlignAtt4LLM的实时语音翻译系统,首次将原本用于编码器-解码器模型的注意力对齐策略(AlignAtt)成功迁移至仅解码器的大语言模型(如Gemma-4)上,通过设计显式源语言提示、筛选翻译专用注意力头、快速重放注意力块以及运行时无损捕获查询/键值等创新技术,在英译德和英译意的同声传译任务中,以极低延迟(约2秒)和低延迟(4秒内)均超越了官方基准,为仅解码器模型实现高效流式翻译开辟了新路径。