arXiv ID:
2604.18002
神经网络垃圾回收:在推理中学习遗忘 / Neural Garbage Collection: Learning to Forget while Learning to Reason
1️⃣ 一句话总结
本文提出一种名为“神经网络垃圾回收”的方法,让语言模型在通过强化学习进行端到端推理的同时,自主学会有选择地丢弃KV缓存中的信息,从而在保持高准确率的前提下将峰值缓存占用压缩2到3倍,解决了长链推理中内存瓶颈问题。