arXiv ID:
2602.01572
arXiv 提交日期: 2026-02-02
基于大语言模型的嵌入:注意力值比隐藏状态更能编码句子语义 / LLM-based Embeddings: Attention Values Encode Sentence Semantics Better Than Hidden States
1️⃣ 一句话总结
这篇论文发现,从大语言模型的注意力机制中提取的‘注意力值’向量,比传统使用的最终层‘隐藏状态’能更好地捕捉句子的整体含义,并提出了一种简单有效的聚合方法,在不额外训练的情况下就达到了顶尖的句子表示效果。