arXiv ID:
2605.18609
arXiv 提交日期: 2026-05-18
小批量随机梯度下降中经典动量加速的完美并行化 / Perfect Parallelization in Mini-Batch SGD with Classical Momentum Acceleration
1️⃣ 一句话总结
本文提出了一种通用理论,证明经典动量(如Polyak重球和Nesterov动量)在二次型优化问题中的加速效果与小批量梯度的大小成正比,从而实现了小批量计算中的完美并行化,并给出了一种简单有效的动量参数选择方法。