arXiv ID:
2606.26749
arXiv 提交日期: 2026-06-25
崩塌前的结构:下一词预测中的瞬态语义几何 / Structure Before Collapse: Transient semantic geometry in next-token prediction
1️⃣ 一句话总结
这篇论文发现,在训练语言模型预测下一个词时,神经网络在早期会自发学习到词语之间的语义相似性(例如,“打破”后面的词通常是“硬”或“无生命”的),但这种有意义的语义结构只是暂时的,随着训练深入,模型最终会陷入一种对称且忽略语义相似性的“神经崩塌”状态。