arXiv ID:
2511.09146
DoPE:去噪旋转位置编码 / DoPE: Denoising Rotary Position Embedding
1️⃣ 一句话总结
这篇论文提出了一种无需训练的去噪方法DoPE,通过检测并修正位置编码中的异常频率成分,有效解决了Transformer模型在处理长文本时注意力失衡的问题,显著提升了模型在超长上下文中的检索准确性和推理稳定性。