📄 论文总结
机器人学习视觉专家变换器 / Vision Expert transformer for Robot learning
1️⃣ 一句话总结
VER是一种用于机器人学习的视觉专家变换器，通过从多样化视觉基础模型中蒸馏知识构建视觉专家库，并使用轻量级动态路由机制自适应选择任务相关专家，在多种机器人基准测试中实现了最先进的性能。
2️⃣ 论文创新点
1. 动态专家路由
- 创新点：通过轻量级路由网络动态选择预训练专家库中的任务相关专家，而非使用静态蒸馏方法
- 区别/改进：相比传统静态蒸馏方法，提高了特征选择的灵活性
- 意义：避免任务无关特征的干扰，专注于任务关键区域
2. 视觉专家库设计
- 创新点：基于混合专家架构构建包含专门化专家的视觉专家库，替代传统静态视觉变换器骨干
- 区别/改进：每个专家捕获不同的视觉理解方面，通过稀疏专家激活保持效率
- 意义：使机器人能够选择性地利用最适合任务感知策略学习的专家
3. 分块专家路由与课程Top-K退火
- 创新点：在分块级别选择专家的路由机制，结合课程学习策略动态调整激活专家数量
- 区别/改进：提供更灵活和精确的专家选择，增强跨块和跨层的选择能力
- 意义：抑制高范数背景异常值，减少任务无关分块信息，保留任务关键区域的细节
4. 两阶段训练框架
- 创新点：分离预训练和策略学习阶段，预训练阶段从多个基础模型蒸馏知识
- 区别/改进：策略学习阶段仅微调轻量级机器人路由器（参数<0.4%）
- 意义：实现高效知识蒸馏和机器人任务的自适应特征选择
3️⃣ 主要结果与价值
结果亮点
- 在11个多样化操作任务中平均成功率最高达74.7%，超越所有先前方法
- 在多种策略头和视觉编码器基准测试中实现最先进性能
- 仅替换Transformer最后三层的情况下引入最小计算和参数开销
实际价值
- 通过专家添加无缝整合新知识，具有良好的可扩展性
- 轻量级路由设计适合实际机器人应用的计算约束
- 结合通用和任务专用专家，实现最佳性能平衡
4️⃣ 术语表
- VER：机器人学习视觉专家变换器，通过基础蒸馏和动态路由的机器人学习视觉专家变换器
- VFMs：视觉基础模型，如DINOv2、CLIP、ViT等
- Vision Expert Library (VEL)：视觉专家库，包含专门化神经网络专家的库，设计用于捕获视觉理解的不同方面
- Patchwise Expert Routing：分块专家路由，在分块级别选择专家的技术
- Curriculum Top-K Annealing (CTA)：课程Top-K退火，在训练过程中动态调整用于选择专家的Top-K值的课程学习策略
- Teacher-Specific Routers：教师特定路由器，为每个教师视觉基础模型设计的专用路由器，用于选择最合适的专家网络
- Robot Router：机器人路由器，任务自适应路由器，选择任务相关的视觉专家特征
- Mixture of Experts：混合专家，由多个专家网络组成的模型架构，通过路由机制选择专家