arXiv ID:
2603.16063
ViT-AdaLA:使用线性注意力适配视觉Transformer / ViT-AdaLA: Adapting Vision Transformers with Linear Attention
1️⃣ 一句话总结
这篇论文提出了一种名为ViT-AdaLA的新方法,它通过注意力对齐、特征对齐和微调三个步骤,高效地将现有高性能视觉大模型的知识迁移到计算效率更高的线性注意力模型中,从而在保持强大性能的同时显著降低了计算成本。