📄 论文总结
通过强化学习增强多模态语言模型的视觉工具使用与推理能力
Reinforced Visual Perception with Tools for Multimodal Language Models
1️⃣ 一句话总结
ReVPT是一种基于GRPO强化学习算法的两阶段框架，通过集成视觉工具显著提升了多模态语言模型在复杂视觉感知任务上的性能，在多个基准测试中达到最先进水平。
2️⃣ 论文创新点
1. 强化学习驱动的视觉工具使用框架
- 创新点是什么：采用强化学习而非监督微调来训练多模态语言模型使用视觉工具进行推理，避免了传统方法的高标注成本和有限泛化能力问题
- 与已有方法的区别/改进：解决了监督微调方法数据生成昂贵、依赖数据筛选和泛化能力差的问题
- 为什么有意义：显著提升了视觉感知任务的性能，在CV-Bench上比指令模型提升超9%
2. 基于GRPO的专门强化学习算法
- 创新点是什么：使用群体相对策略优化算法进行强化学习，通过组内奖励归一化评估响应，确保训练稳定性
- 与已有方法的区别/改进：提供了更有效的工具使用训练方法，防止策略更新过大
- 为什么有意义：在感知密集型任务上实现了最先进性能
3. 双阶段训练框架与冷启动策略
- 创新点是什么：采用两阶段训练框架，首先使用GPT-4.1合成高质量工具增强推理数据进行冷启动监督微调，然后进行强化学习优化
- 与已有方法的区别/改进：解决了训练过程中工具使用倾向下降的问题，为强化学习阶段奠定基础
- 为什么有意义：确保模型在初始阶段就能有效掌握视觉工具调用技能
4. 基于规则的双元奖励设计
- 创新点是什么：采用基于规则的双元奖励系统（+1/-1），同时验证答案正确性和响应格式规范性
- 与已有方法的区别/改进：避免使用神经网络奖励模型，防止奖励黑客问题
- 为什么有意义：提供可靠且可验证的强化学习信号，促进强推理行为的产生
3️⃣ 主要结果与价值
实验结果亮点
- 在多个感知密集型基准测试（SAT、CV-Bench、BLINK和MMStar）上取得最先进性能
- 在深度和距离任务上分别提升9.5%和13.23%，显著优于监督微调和基于文本的强化学习基线
- 性能优于商业模型（如GPT-4.1和Gemini-2.0-Flash）同时保持通用能力
实际应用价值
- 为多模态模型提供了一种更有效的训练方法，平衡了工具使用能力与通用能力
- 展示了小模型通过工具集成可获得显著能力提升的潜力
- 为复杂视觉问题的动态解决策略调整提供了新思路
4️⃣ 术语表
- ReVPT：Reinforced Visual Perception with Tools，通过强化学习增强视觉工具使用的多模态语言模型方法
- GRPO：Group Relative Policy Optimization，群体相对策略优化强化学习算法，用于训练模型在视觉工具环境中的自适应策略
- CV-Bench：计算机视觉基准测试，用于评估视觉感知能力
- 冷启动：工具学习初始阶段需要预先确定特定工具集并进行初始训练的阶段
- 思维链（CoT）：Chain-of-Thought，通过生成中间推理步骤来增强模型推理能力的方法