arXiv ID:
2606.25342
arXiv 提交日期: 2026-06-24
基于Transformer的终身上下文学习需要参数化注意力形式 / Lifelong In-Context Learning with Transformers Requires Parametric Forms of Attention
1️⃣ 一句话总结
该论文提出,为了实现Transformer在固定硬件资源下处理无限长序列的终身学习,必须用参数化注意力(如线性注意力、状态空间模型等)替代传统非参数化注意力,以在线可训练的网络取代不断增长的键值缓存,从而在保持内存恒定的同时弥补现有方法在记忆容量和更新效率上的不足,并为长期智能体发展指明方向。