arXiv ID:
2601.01046
arXiv 提交日期: 2026-01-03
KV-嵌入:通过仅解码器大语言模型内部KV重路由实现免训练文本嵌入 / KV-Embedding: Training-free Text Embedding via Internal KV Re-routing in Decoder-only LLMs
1️⃣ 一句话总结
这篇论文提出了一种名为KV-Embedding的新方法,它通过巧妙地重新组织大语言模型内部的关键-值状态,让未经额外训练的模型也能高效地生成高质量的文本语义表示,解决了传统方法在免训练场景下面临的上下文访问受限和语义压缩偏差两大难题。