自调用思维链：一种用于高效视觉推理的新型代理协调范式 / Thinking with Images via Self-Calling Agent
1️⃣ 一句话总结
本文提出了一种名为自调用思维链（sCoT）的新型视觉推理范式，通过将复杂的跨模态推理任务重构为由主代理协调的纯语言原子子任务序列，并利用强化学习进行端到端优化，显著降低了训练成本并提升了模型在高分辨率视觉任务上的推理性能。
2️⃣ 论文创新点
1. 自调用思维链（sCoT）范式
- 创新点：一种全新的视觉推理框架，旨在解决传统交错多模态思维链（iMCoT）在强化学习中因高质量数据稀缺而难以优化的问题。sCoT将复杂的视觉推理任务分解为一系列原子子任务，每个子任务由一个与主代理参数完全相同的虚拟子代理处理，专注于单个裁剪图像区域并返回纯文本响应。主代理负责任务分解、调用子代理并汇总所有文本响应以生成最终答案。
- 区别/改进：避免了跨模态间的显式交错处理，将多模态推理简化为纯语言思维链，使得模型更容易通过强化学习进行激励和优化。
- 意义：显著减少了训练所需的GPU时间（约75%），并在HR-Bench 4K等高分辨率基准测试上实现了推理性能的提升（高达1.9%），提供了一种轻量、灵活且高效的视觉推理替代方案。
2. 基于强化学习的代理协调优化
- 创新点：采用端到端的代理强化学习方法（如组相对策略优化GRPO）来训练模型学习自我调用的编排策略。优化过程仅针对主代理内部的推理轨迹，同时屏蔽交织的子代理响应，以防止奖励泄漏。奖励函数设计融合了准确性、格式和工具使用，并引入了工具调用顺序约束（I_tool ≪ ans），要求工具调用必须在最终答案生成之前完成。
- 区别/改进：使模型能够自主学习何时调用子代理以及如何构建子任务，而无需直接拟合子代理响应或依赖手动定义的工作流。
- 意义：显著降低了训练成本，提高了优化效率，并使得sCoT在性能上超越了现有的iMCoT方法，同时确保了工具调用逻辑的正确序列，是训练稳定性和最终策略有效性的重要保障。
3. 虚拟子代理与结构化工具调用协议
- 创新点：使用与主代理参数完全相同的虚拟副本作为子代理，通过结构化工具调用协议进行动态调用。每次调用包含任务类型、提示词和边界框参数，实现了模块化和隔离的推理。
- 区别/改进：实现了模块化和隔离的推理，子代理无需全局信息或相互通信，专注于单个裁剪图像区域。
- 意义：提供了一种轻量级且高效的多任务协调机制，模拟了工具使用行为，同时保持了模型的统一性和部署简便性。
4. 边界框上下文增强与数据针对性设计
- 创新点：通过插值公式略微扩大子任务中使用的边界框，使其包含更多上下文信息。训练数据由高分辨率/细节图像（Fine）、复杂结构化图表（Chart）和抽象符号推理（Reason）三类组成，并分析了不同组合的影响。
- 区别/改进：在保持子代理对特定区域关注的同时，提供了有限的局部上下文，有助于更全面的区域级理解。发现Fine和Chart数据的组合能稳定训练并提升性能，而Reason数据由于与模型所需的视觉定位能力不匹配，会损害性能。
- 意义：提高了子代理在回答关于图像区域问题时的准确性和上下文感知能力，并指导了面向视觉定位和区域感知任务的高效数据配比，优化了模型的学习动态和泛化能力。
3️⃣ 主要结果与价值
结果亮点
- 在HR-Bench 4K基准测试上，sCoT框架在减少约75% GPU小时的情况下，将整体推理性能提升了高达1.9%。
- 基于sCoT构建的SubagentVL模型在V**和HR Bench等高分辨率视觉任务上取得了显著性能，超越了开源模型和先前的多模态思维链范式以及手动定义的工作流。
- 强化学习主要提升了复杂推理任务中的子代理调用策略，对底层视觉感知能力（如OCR、定位）的提升有限。
- 训练过程中模型的工具调用行为经历了三个阶段：初期调用频率骤降，中期调用增加并伴随奖励快速提升，后期调用稳定并形成成熟的协调策略。
实际价值
- 为大规模视觉语言模型的训练提供了一种更高效、可扩展的替代方案，尤其适用于资源受限的场景。
- 通过结构化的文本分解与轻量级视觉子任务相结合，为高分辨率多模态推理提供了一个可扩展且资源高效的解决方案。
- 明确的协议约束（如工具调用参数非空）和奖励设计（如顺序约束）是模型有效工作和训练稳定的关键设计，对构建可靠的代理系统具有指导意义。
4️⃣ 术语表
- Self-Calling Chain-of-Thought (sCoT)：自调用思维链。一种视觉推理范式，将复杂的跨模态推理任务重构为由主代理协调的纯语言原子子任务序列，通过调用参数共享的虚拟子代理解决原子子任务，以避免交错多模态处理。
- interleaved multimodal chain-of-thought (iMCoT)：交错多模态思维链。一种推理过程，其中推理模态在文本和视觉域之间交替，可能导致多图像任务性能下降。
- Group Relative Policy Optimization (GRPO)：组相对策略优化。一种用于优化序列决策中策略的强化学习方法，在本文中用于训练sCoT的主代理。
- SubagentVL：本文提出的视觉语言模型，其核心创新在于通过受约束的工具调用协议和特定的奖励设计，学习调用子代理进行复杂视觉推理。
- I_tool ≪ ans：奖励函数中的一个顺序约束指示符，要求工具调用必须在生成最终答案之前完成，以防止奖励黑客行为并确保正确的行为序列。