📄 论文总结
多模态想象力推理评估基准 / MIRA: Multimodal Imagination for Reasoning Assessment
1️⃣ 一句话总结
本文提出了MIRA基准，用于评估多模态大语言模型在需要生成中间视觉图像进行推理的任务中的能力，发现现有模型在此类任务上表现不佳，但通过视觉思维链方法可显著提升性能。
2️⃣ 论文创新点
1. MIRA基准设计
- 创新点：专门设计了包含546个样本的评估基准，涵盖几何、物理、谜题和因果推理等多个领域，要求模型生成并利用中间视觉图像进行推理
- 区别/改进：解决了现有基准中视觉生成需求不足的问题，提供了带注释的逐步视觉线索
- 意义：填补了多模态推理评估的空白，支持复杂的视觉推理问题解决
2. 三级评估协议
- 创新点：提出了包含直接输入、文本思维链和视觉思维链三个级别的系统评估框架
- 区别/改进：系统性评估模型在不同提示级别下的性能，并探索模型能力的上限
- 意义：提供了多层次的评估框架，清晰展示了视觉线索对模型性能提升的关键贡献
3. 视觉思维链方法
- 创新点：通过人工标注的视觉演示来辅助模型进行复杂视觉推理
- 区别/改进：相比文本思维链带来一致性性能提升，如GPT-5-mini准确率从13.7%提升至23.2%
- 意义：凸显了纯文本提示的局限性及视觉推理对现有先进多模态系统的潜力
3️⃣ 主要结果与价值
结果亮点
- MIRA基准极具挑战性，GPT-5在直接输入下仅达16.5%准确率
- 视觉思维链方法显著提升模型性能，平均相对得分提升33.7%，在物理任务中准确率从20.7%跃升至40.0%
- 文本思维链对解决MIRA问题帮助有限甚至有害，而视觉思维链能显著提升模型性能
实际价值
- 为评估模型生成和使用中间视觉表征进行推理的能力提供了标准化测试框架
- 揭示了当前多模态大语言模型在需要"边画边思考"的视觉推理任务上的根本缺陷
- 为未来能够实现真正视觉推理的多模态模型提供了评估路径
4️⃣ 术语表
- MIRA：多模态想象力推理评估基准，用于评估需要中间视觉表示的推理场景
- Visual-CoT：视觉思维链，在推理过程中使用中间视觉线索的方法，通过逐步视觉演示辅助复杂视觉推理
- CoT：链式思维，将复杂问题分解为多个推理步骤的思考过程
- Pass@k：一种评估指标，模型为同一问题生成k个不同推理路径和答案，成功标准基于这些答案
- 凸包：在计算几何中，指包含所有给定点的最小凸多边形