arXiv ID:
2602.08329
arXiv 提交日期: 2026-02-09
通过事前稀疏化实现近似最优的KV选择,用于长上下文推理 / Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference
1️⃣ 一句话总结
这篇论文提出了一种名为‘事前稀疏化’的新方法,它能在大型语言模型推理时,提前筛选出关键信息并丢弃不重要的部分,从而在保证回答准确性的前提下,大幅减少计算量和提升处理速度。