arXiv ID:
2606.30455
arXiv 提交日期: 2026-06-29
曲率加权梯度多样性:一种面向几何自适应的随机梯度下降调度噪声度量 / Curvature-Weighted Gradient Diversity: A Noise Measure for Geometry-Adaptive SGD Schedules
1️⃣ 一句话总结
本文提出了一种名为“曲率加权梯度多样性”的新指标,通过考虑Hessian矩阵的曲率信息来更准确地衡量随机梯度下降中的优化噪声,并基于此设计了一种改进的余弦学习率调度方法,在二次优化问题中可将最终误差降低约20%。