arXiv ID:
2602.21276
arXiv 提交日期: 2026-02-24
神经网络优化策略与损失函数地形 / Neural network optimization strategies and the topography of the loss landscape
1️⃣ 一句话总结
这篇论文通过对比随机梯度下降和拟牛顿法两种优化算法,发现它们会在神经网络的损失函数地形中找到不同类型的解:随机梯度下降倾向于找到更平坦、泛化性更好的区域,而拟牛顿法则能找到更深但更孤立、泛化性较差的极小值点,从而揭示了优化策略的选择对模型鲁棒性和可迁移性的根本影响。