📄 论文总结
EO-Robotics：基于交错视觉-文本-动作预训练的统一具身基础模型
EO-Robotics: A Unified Embodied Foundation Model via Interleaved Vision-Text-Action Pre-training
1️⃣ 一句话总结
本研究提出了EO-1统一具身基础模型和EO-Data1.5M大规模数据集，通过交错视觉-文本-动作预训练方法，在多模态具身推理和机器人控制方面实现了卓越性能。
2️⃣ 论文创新点
1. 交错视觉-文本-动作预训练
- 创新点是什么：采用交错的多模态预训练方法，结合自回归解码和流匹配去噪技术，统一处理视觉、文本和动作信息
- 与已有方法的区别/改进：相比现有VLA模型仅在序列末尾生成动作，该方法更好地捕捉了多模态间的时序动态和因果关系
- 为什么有意义：实现了更接近人类的多模态推理与物理动作的交错协同，提升了开放世界的理解和泛化能力
2. 统一架构设计
- 创新点是什么：使用单一解码器Transformer架构处理多模态输入（文本、图像、状态、动作噪声），并生成离散文本标记和连续动作标记
- 与已有方法的区别/改进：无需为动作去噪引入额外的动作特定参数，不同于先前的VLA模型
- 为什么有意义：实现了离散多模态具身推理与连续机器人控制的无缝集成，促进了语义知识向动作生成的迁移
3. 大规模交错具身数据集构建
- 创新点是什么：构建了包含150万样本的交错具身数据集，强调视觉-文本-动作理解，涵盖物理常识和空间关系推理
- 与已有方法的区别/改进：通过数据清理和LLM改写提升数据质量和文本多样性，并注入模糊语义
- 为什么有意义：为预训练视觉语言模型提供了物理常识理解和任务规划能力
4. 交错整流采样策略
- 创新点是什么：针对混合模态生成训练中因果关系的挑战，提出了一种交错整流采样方法
- 与已有方法的区别/改进：解决了后续文本、图像或动作标记应关注干净动作标记和前述文本/图像标记，而非噪声动作标记的挑战
- 为什么有意义：确保在训练交错视觉-文本-动作数据时能够保持多模态上下文中的因果关系，实现高效的混合模态生成训练
3️⃣ 主要结果与价值
实验结果亮点
- 在多样化任务上展现出强大的多模态具身推理和真实机器人控制泛化能力
- 实现了高质量的长时间程、灵活的机器人控制
- 支持跨平台泛化和细粒度操作
实际应用价值
- 为通用机器人控制提供了丰富的多模态监督信号
- 支持动作预测和复杂多模态推理
- 促进了语义知识向动作生成的迁移
4️⃣ 术语表
- EO-1：统一的具身基础模型，通过交错视觉-文本-动作预训练实现多模态具身推理和机器人控制
- EO-Data1.5M：包含超过150万样本的多模态具身推理数据集，强调交错视觉-文本-动作理解
- 流匹配去噪：通过预测去噪向量场来训练动作生成的流匹配去噪方法
- 交错具身数据：包含视觉-文本-动作交错序列的具身交互数据集
- 交错整流采样：一种训练采样策略，通过从交错序列中采样可变长度的子序列，在混合模态生成训练中保持因果关系