arXiv ID:
2602.03203
arXiv 提交日期: 2026-02-03
ForesightKV:通过学习长期贡献优化推理模型的KV缓存淘汰机制 / ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution
1️⃣ 一句话总结
这篇论文提出了一个名为ForesightKV的智能缓存管理框架,它通过结合监督学习和强化学习来预测并淘汰推理过程中不重要的中间数据,从而在只使用一半缓存的情况下,显著提升大语言模型处理长文本时的效率和性能。