📄 论文总结
统一扩散视觉-语言-动作模型 / Unified Diffusion Vision-Language-Action Model
1️⃣ 一句话总结
本文提出了一种统一的视觉-语言-动作模型，通过联合离散去噪扩散过程将理解、生成和行动任务内在协同，在多个基准测试中实现了最先进性能，推理速度比自回归方法快4倍。
2️⃣ 论文创新点
1. 联合离散去噪扩散过程(JD3P)
- 创新点：将多个模态集成到单一去噪轨迹中的联合扩散过程，通过同步去噪过程联合优化图像生成和动作预测
- 区别/改进：解决了现有方法中图像生成和动作预测分离的问题，实现了内在协同，使动作能够作为期望未来观察的隐式映射来制定
- 意义：统一处理图像和动作生成，支持可变长度动作序列生成
2. 混合注意力机制
- 创新点：结合因果注意力和双向注意力的注意力架构，通过因果注意力和双向注意力的组合将端到端动作预测分解为前向过程和逆向动力学过程
- 区别/改进：打破动作令牌间的时间序列依赖，消除粗粒度动作信息泄漏，提高可解释性
- 意义：实现最有效的信息传递，在CALVIN基准上达到4.64的平均成功长度
3. 统一多模态标记空间
- 创新点：构建所有模态的统一标准化空间，将语言、视觉和动作模态统一转换为离散标记并连接成单一多模态序列
- 区别/改进：无需外部编码器或解码器即可实现视觉-语言-动作对齐，使用特殊标记(
/ 和 / )明确结构化不同模态的扩散过程 - 意义：实现真正的多模态统一表示，为理解、生成和行动提供统一的表示基础
4. 端到端统一VLA范式
- 创新点：通过联合去噪过程统一视觉语言动作模型，相比通过外部专家统一模态的方法和统一输入输出空间的方法性能更优
- 区别/改进：相比自回归解码速度提升4.3倍，平均长度达到4.64
- 意义：实现了更有效的多模态融合，在多个基准测试中达到SOTA性能
3️⃣ 主要结果与价值
结果亮点
- 在CALVIN基准ABCD→D任务中取得4.64的平均成功长度，优于所有基线方法
- 在LIBERO基准上达到92.7%的平均成功率，在Object套件上达95.7%，在Long套件上达89.6%
- 在SimplerEnv-WidowX基准测试中达到62.5%的平均成功率，显著超越所有基线方法
- 推理速度比自回归方法快4倍，实现了视觉-动作生成的统一
实际价值
- 在真实世界机器人操作任务中达到80%以上的成功率，展示了强大的实际应用价值
- 支持可变长度动作序列生成，增强了模型的灵活性和适应性
- 通过未来帧预测增强了模型的时间推理能力和精确操作能力
- 减少了延迟，提高了推理速度，确保了生成质量
4️⃣ 术语表
- UD-VLA：统一扩散视觉-语言-动作模型，采用扩散方法处理视觉和动作令牌的生成任务
- JD3P：联合离散去噪扩散过程，将多个模态集成到单一去噪轨迹中的联合扩散过程，是UD-VLA模型的核心理论框架
- VLA：视觉语言动作模型，旨在统一处理视觉、语言和动作任务
- CALVIN：用于评估长序列语言条件机器人操作的模拟基准套件，包含4个环境和34个任务
- LIBERO：模拟操作基准，包含Spatial、Object、Goal和Long四个套件，测试不同方面的泛化能力
- SimplerEnv-WidowX：机器人操作任务基准测试，包含放置勺子、胡萝卜、堆叠积木、放置茄子等任务
- 混合注意力机制：结合因果注意力和双向注意力的注意力架构，用于协调多模态令牌的交互
- 置信度引导解码：一种推理策略，通过计算每个掩码位置的置信度评分，选择最可信的位置进行令牌更新