arXiv ID:
2606.04429
平坦性与泛化:用齐次神经网络学习多指标模型 / Flatness and Generalization: Learning Multi-Index Models with Homogeneous Neural Networks
1️⃣ 一句话总结
本文针对两层齐次神经网络在学习未知多指标模型时,发现虽然网络对称性可以让某些解变平坦或变尖锐,但“最平坦”的解(即所有解中平坦度最小的解)与泛化性能之间仍存在可靠联系:一方面,存在一类无法通过对称性变平坦的非泛化解;另一方面,在数据由多单指标模型生成且误差较小时,任何最平坦的解都能取得很好的泛化效果,从而为“平坦解泛化好”这一经验法则提供了理论支持。