arXiv ID:
2607.07706
arXiv 提交日期: 2026-07-08
实现线性化的关键:基于分析驱动的Transformer线性化方法 / The Key to Going Linear: Analysis-Driven Transformer Linearization
1️⃣ 一句话总结
本文针对Transformer模型在处理超长文本时自注意力机制计算成本过高的问题,通过严格分析软注意力机制的核心原理,提出了一系列结构改进(如插入“沉没标记”、短卷积和固定预算缓存路由),成功在保持模型性能的同时实现了高效的线性化推理,并在大模型上验证了其有效性。