arXiv ID:
2601.08297
揭秘注意力机制中的斜线模式:RoPE的作用 / Demystifying the Slash Pattern in Attention: The Role of RoPE
1️⃣ 一句话总结
这篇论文通过理论和实验分析,解释了为什么大语言模型的注意力机制中会出现‘斜线主导头’模式,并揭示了旋转位置编码(RoPE)中的中高频成分是导致这一现象的关键原因。