arXiv ID:
2602.04931
arXiv 提交日期: 2026-02-04
大语言模型中预测中心几何结构的深度涌现 / Depth-Wise Emergence of Prediction-Centric Geometry in Large Language Models
1️⃣ 一句话总结
这篇论文发现,大语言模型在处理信息时,其内部表征的几何结构会随着网络层数加深而发生转变,从处理上下文信息逐步演变为形成预测,其中角度关系决定了预测的相似性,而向量长度则编码了与预测无关的上下文细节。