arXiv ID:
2604.05834
arXiv 提交日期: 2026-04-07
隐藏于乘法交互之中:揭示多模态对比学习的脆弱性 / Hidden in the Multiplicative Interaction: Uncovering Fragility in Multimodal Contrastive Learning
1️⃣ 一句话总结
这篇论文发现,当前先进的多模态对比学习方法Symile在处理超过两种模态(如图像、文本、音频)时,由于对所有模态一视同仁而存在隐藏的脆弱性,当某些模态信息不可靠时会暗中损害模型性能;为此,作者提出了一种带门控机制的改进方法Gated Symile,它能动态评估并调整每个模态的贡献度,从而在多种真实数据集上实现了更鲁棒和准确的检索性能。