📄 论文总结
Conan：基于证据的多步骤视频推理框架 / Conan: Evidence-based Multi-step Video Reasoning Framework
1️⃣ 一句话总结
Conan是一个通过识别多尺度相关帧、跨帧线索推理和自适应决策来模拟侦探推理过程的视频推理框架，在多个多步推理基准上实现了最先进的性能。
2️⃣ 论文创新点
1. Conan推理框架
- 创新点：模拟侦探推理过程的统一框架，通过识别多尺度相关帧、跨帧线索推理和自适应决策来执行基于证据的视频推理
- 区别/改进：解决了现有RL方法依赖纯文本推理导致推理不接地气，以及帧检索方法证据定位不准确的问题
- 意义：实现了更可靠和准确的视频推理，提升了多步骤推理性能
2. Conan-91K数据集
- 创新点：大规模自动生成的推理轨迹数据集，包含帧识别、证据推理和行动决策三个关键组件
- 区别/改进：提供了高质量的训练数据，支持证据接地的推理学习，避免了特定基准的过拟合
- 意义：为训练多步骤视频推理模型提供了关键资源
3. 多阶段渐进式冷启动策略与AIR RLVR训练框架
- 创新点：结合多阶段渐进式冷启动策略和识别-推理-行动强化学习视频推理框架
- 区别/改进：联合增强了多步骤视觉推理能力，通过强化学习激励推理过程
- 意义：有效提升了模型的推理性能和泛化能力
4. 证据难度感知采样
- 创新点：基于证据难度指数的非均匀采样策略，量化样本推理复杂度
- 区别/改进：采用课程对齐采样方案，SFT阶段选低难度样本，RLVR阶段选高难度样本
- 意义：实现了从简单到复杂推理案例的渐进式训练课程
3️⃣ 主要结果与价值
结果亮点
- 在六个多步推理基准上显著优于基础模型Qwen2.5-VL-7B-Instruct，平均准确率提升超10%
- 在大多数基准上超越了GPT-4o的性能
- 在长视频理解任务中表现出强大的泛化能力，在多个基准上取得最先进性能
- 消融研究表明多尺度帧识别和证据难度感知采样均能提升性能
实际价值
- 能够可靠地进行跨视觉线索的可验证多步推理
- 实现了'寻找、演绎和行动'的完整推理能力
- 可应用于复杂视频分析、智能监控、教育视频理解等多个领域
- 为长视频理解任务提供了有效的解决方案
4️⃣ 术语表
- Conan：用于基于证据的多步骤视频推理的框架，通过识别多尺度帧、跨帧推理和自适应决策来模拟侦探推理过程
- RLVR：强化学习与可验证奖励，用于激励大语言模型的推理能力，在视频推理中扩展应用
- Conan-91k：大规模的多尺度证据推理数据集，用于训练模型进行证据定位、多步推理和行动决策
- AIR (Identification–Reasoning–Action)：联合的识别-推理-行动优化框架，用于RLVR，指导模型在多尺度视觉证据上进行多步推理
- EDI：证据难度指数，计算公式为EDI = (1-P)*Var，其中P是证据比例，Var是证据帧时间方差
- 多步骤推理基准：用于评估多步推理能力的六个基准，包括MMR-V、Video-Holmes、VRBench、VCRBench、LongVideoReason和Human-P&C
- MLLM：多模态大语言模型，能够处理和理解多种模态信息如文本、图像、视频等