arXiv ID:
2602.10959
arXiv 提交日期: 2026-02-11
作为相位调制的旋转位置编码:面向长上下文Transformer的RoPE基参数理论边界 / Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
1️⃣ 一句话总结
这篇论文将大语言模型中广泛使用的旋转位置编码重新解释为一种相位调制技术,并运用信号处理理论,首次推导出确保长文本位置信息不混乱的基参数“黄金区间”,解释了为何某些模型在处理超长文本时会失败,并为未来模型设计提供了关键的理论指导。