arXiv ID:
2602.15997
arXiv 提交日期: 2026-02-17
能力涌现的解剖学:神经网络中的尺度不变表征塌缩与自上而下的重组 / Anatomy of Capability Emergence: Scale-Invariant Representation Collapse and Top-Down Reorganization in Neural Networks
1️⃣ 一句话总结
这篇论文通过分析神经网络训练过程中的几何特征,发现新能力的涌现通常始于一种与模型大小无关的、自上而下的表征塌缩,并揭示了这种几何变化是预测能力出现的关键先兆,但其预测能力在自然语言预训练模型中存在局限。