arXiv ID:
2602.04784
从独立补丁到协调注意力:控制视觉Transformer中的信息流 / From independent patches to coordinated attention: Controlling information flow in vision transformers
1️⃣ 一句话总结
这篇论文通过在视觉Transformer的注意力机制中引入信息瓶颈,可以像调节旋钮一样控制模型内部的信息交流程度,从而让模型从‘各看各的’的局部处理平滑过渡到‘协同合作’的全局注意力,这有助于我们理解和分析模型内部的工作机制。