arXiv ID:
2606.10324
arXiv 提交日期: 2026-06-09
MLP残差网络中的秩坍塌、不动点与重正化群结构 / Rank Collapse, Fixed Points, and the Renormalization Group Structure of MLP Residual Networks
1️⃣ 一句话总结
本文通过实验首次定量证明,MLP残差网络在训练后会对输入数据进行类似重正化群的选择性粗粒化处理:它会根据数据相关性自动保留关键自由度、丢弃无关信息,并形成靠近不动点的稳定层结构。