arXiv ID:
2604.18450
早期停止梯度流的随机矩阵理论:瞬态BBP情景 / Random Matrix Theory of Early-Stopped Gradient Flow: A Transient BBP Scenario
1️⃣ 一句话总结
该研究通过一个可解析的随机矩阵模型,揭示了在线性教师-学生设定下,梯度下降训练中信号仅在早期阶段可检测、之后被过拟合淹没的瞬态现象,其根源是输入协方差的不均匀性导致了学习快慢方向的分离,从而产生一个随信号强度和协方差非均匀性变化的临时特征值分离窗口,为早停法的有效性提供了简洁的数学解释。