arXiv ID:
2512.07222
arXiv 提交日期: 2025-12-08
为视觉语言模型的免费鲁棒性而少关注功能词 / Pay Less Attention to Function Words for Free Robustness of Vision-Language Models
1️⃣ 一句话总结
这篇论文发现视觉语言模型容易受到跨模态对抗攻击的弱点与模型过度关注文本中的功能词(如“的”、“在”)有关,并提出了一种名为“功能词去注意”的新方法,通过从注意力中减去功能词的影响,显著提升了模型的抗攻击能力,同时几乎不影响其正常任务性能。