arXiv ID:
2604.19724
arXiv 提交日期: 2026-04-21
对抗训练中视觉Transformer的良性过拟合 / Benign Overfitting in Adversarial Training for Vision Transformers
1️⃣ 一句话总结
本文首次从理论上证明了,在特定信号噪声比和适度扰动强度下,视觉Transformer(ViT)通过对抗训练不仅能实现近乎零的鲁棒训练损失和良好的泛化能力,而且即使模型出现过度拟合,这种过拟合反而是“良性”的——不会损害模型对对抗样本的防御效果,从而将之前仅在卷积神经网络(CNN)中观察到的现象推广到了ViT中。