arXiv ID:
2602.01642
arXiv 提交日期: 2026-02-02
小批量噪声对Adam优化器隐式偏差的影响 / The Effect of Mini-Batch Noise on the Implicit Bias of Adam
1️⃣ 一句话总结
这篇论文通过理论分析发现,Adam优化器的泛化能力受批次大小和动量参数共同影响,小批次时默认参数效果好,大批次时则需要调整动量参数以提升模型在多次训练中的验证精度。