arXiv ID:
2601.14152
arXiv 提交日期: 2026-01-20
迷失于提示顺序:揭示语言模型中因果注意力的局限性 / Lost in the Prompt Order: Revealing the Limitations of Causal Attention in Language Models
1️⃣ 一句话总结
这篇论文发现,大语言模型在回答选择题时,将背景信息放在问题和选项之前,比反过来排列能显著提升准确率,其根本原因在于模型内部的因果注意力机制会阻止选项去‘看到’背景信息,从而造成信息瓶颈。