arXiv ID:
2602.22936
arXiv 提交日期: 2026-02-26
齐次神经网络中随机梯度下降的泛化界 / Generalization Bounds of Stochastic Gradient Descent in Homogeneous Neural Networks
1️⃣ 一句话总结
这篇论文证明了,在齐次神经网络(如使用ReLU激活的常见网络)中,随机梯度下降算法可以使用更慢的学习率衰减(如1/√t),而无需牺牲泛化性能,这比传统理论要求的更符合实际训练情况。