arXiv ID:
2606.30444
arXiv 提交日期: 2026-06-29
SGD在XOR模型中优先学习虚假捷径特征 / SGD Provably Prioritizes a Shortcut Spurious Feature in the XOR Model
1️⃣ 一句话总结
本文通过理论证明和实验验证,揭示了两层ReLU神经网络在使用随机梯度下降(SGD)训练时,会优先且极快地学习一个线性虚假特征,而真正重要的非线性信号(XOR)特征则被抑制,直到虚假相关减弱或样本量极大增加时才可能被学习。