arXiv ID:
2605.02701
arXiv 提交日期: 2026-05-04
基于逐样本裁剪的稳健快速训练方法 / Robust and Fast Training via Per-Sample Clipping
1️⃣ 一句话总结
本文提出一种名为PS-Clip-SGD的梯度估计方法,通过为每个训练样本单独裁剪梯度来提升模型训练的稳健性与速度,在理论上证明了其在非凸优化中的最优收敛性,并在图像分类任务中验证其比传统方法更高效,同时发现将裁剪操作应用于小批量而非整个训练过程能进一步节省计算成本。