arXiv ID:
2601.21686
arXiv 提交日期: 2026-01-29
别那么“死板”!在Stiefel流形上学习KV缓存的低秩近似 / Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold
1️⃣ 一句话总结
这篇论文提出了一种名为StiefAttention的新方法,通过直接在正交投影空间中学习并最小化解码器输出误差,来更有效地压缩大语言模型推理时的KV缓存,从而在相同压缩率下显著提升模型性能。