arXiv ID:
2607.02303
arXiv 提交日期: 2026-07-02
为线性注意力配置一个海马体:为循环状态遗忘的内容提供精确记忆 / A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets
1️⃣ 一句话总结
为了解决线性注意力模型在压缩序列信息时容易遗忘早期关键事实的问题,本文受大脑互补学习系统启发,提出了一种名为HOLA的新方法,它在线性注意力的压缩记忆之外,额外增加一个较小的精确键值缓存区(类似海马体),专门存储那些容易被覆盖的重要信息,从而在不显著增加计算成本的情况下,大幅提升了模型对长距离信息的回忆能力,其表现甚至超越了传统的全注意力模型。