arXiv ID:
2607.01792
arXiv 提交日期: 2026-07-02
PARTREP:学习在仅解码器大语言模型中重复什么内容 / PARTREP: Learning What to Repeat for Decoder-only LLMs
1️⃣ 一句话总结
针对仅解码器大语言模型因因果注意力机制导致前后位置信息不对称的问题,本文提出一种名为PartRep的高效方法,它通过选择性地重复提示中最具信息量的词语(而非完整重复),在显著降低计算和内存开销的同时,保留了完整重复提示带来的大部分性能提升。