arXiv ID:
2604.25143
arXiv 提交日期: 2026-04-28
梯度方向敏感性揭示优化器轨迹所隐藏的线性中心耦合 / Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories
1️⃣ 一句话总结
这篇论文发现,直接用损失函数的梯度(而不是优化器更新量)进行奇异值分解,能更清晰地揭示神经网络中特定方向与线性中心特征之间的强耦合关系,表明这种耦合是特征形成的重要指标,但并非唯一因果路径,且模型注意力更新具有高度冗余性。