arXiv ID:
2603.27432
arXiv 提交日期: 2026-03-28
归一化的几何代价:神经网络贝叶斯复杂度的仿射界 / The Geometric Cost of Normalization: Affine Bounds on the Bayesian Complexity of Neural Networks
1️⃣ 一句话总结
这篇论文通过几何分析证明,LayerNorm通过将数据约束到一个超平面,能自动降低模型的统计复杂度,而RMSNorm则完全保留复杂度,这种差异源于两者对数据流形曲率的处理方式不同。