arXiv ID:
2606.01532
arXiv 提交日期: 2026-06-01
重新思考位置编码的作用:无位置编码的滑动窗口Transformer仍具有图灵完备性 / Rethinking the Role of Positional Encoding: Sliding-Window Transformers without PE Remain Turing Complete
1️⃣ 一句话总结
本文挑战了位置编码是Transformer实现通用计算必不可少的传统观点,通过提出一个仅依赖窗口内词频统计的抽象模型HIST,并证明滑动窗口机制本身就能打破置换不变性,从而让无需位置编码的Transformer在有限滑动窗口下依然能够模拟任意计算,达到图灵完备。