📄 论文总结
IMO-Bench：面向国际数学奥林匹克竞赛水平的鲁棒推理基准套件 / IMO-Bench: A Robust Reasoning Benchmark Suite for International Mathematical Olympiad-Level Evaluation
1️⃣ 一句话总结
本研究提出了IMO-Bench基准套件，这是一个针对国际数学奥林匹克竞赛水平的综合评估框架，包含三个专门组件用于评估数学推理能力，并通过开发高精度自动评分系统解决了复杂数学问题评估的挑战。
2️⃣ 论文创新点
1. IMO-Bench综合基准套件
- 创新点：针对国际数学奥林匹克竞赛水平的先进推理基准套件，由顶级专家小组审查，包含三个专门组件
- 区别/改进：解决了现有评估过于简单或仅关注简短答案的问题，要求深度多步推理
- 意义：为推进基础模型的数学推理能力提供了关键评估标准，在历史性获得IMO金牌中发挥重要作用
2. IMO-AnswerBench答案评估基准
- 创新点：包含400个多样化奥林匹克问题的基准，具有可验证的简短答案，涵盖代数、组合、几何和数论四个类别
- 区别/改进：问题经过专家修改以避免记忆，涵盖需要不同解题技巧的多种主题
- 意义：测试模型在复杂数学问题上的答案获取能力
3. IMO-ProofBench证明评估基准
- 创新点：评估证明写作能力的下一代评估，包含基础和高级IMO级别问题
- 区别/改进：提供详细评分指南以促进自动评分，不仅关注最终答案，更重视推理过程的正确性和完整性
- 意义：衡量模型的严格证明写作能力，超越简单的答案匹配
4. 问题鲁棒化技术
- 创新点：通过变量替换、数值修改、添加干扰项和问题重构等方法增强数学问题的抗干扰能力
- 区别/改进：将原始问题转换为等价但表达形式完全不同的版本，增加模型理解的难度
- 意义：提高数学基准测试的鲁棒性，防止模型通过模式匹配而非真正推理来解决问题
5. 自动评分系统
- 创新点：基于大语言模型构建的答案和证明自动评分器
- 区别/改进：实现了与专家人工评估的高度相关性，相比传统基于SymPy的方法能处理更灵活的答案格式和语义等价但语法不同的表达
- 意义：为长格式答案的自动评估提供了可靠工具
3️⃣ 主要结果与价值
结果亮点
- Gemini Deep Think模型在IMO-AnswerBench上达到80.0%准确率，在高级IMO-ProofBench上达到65.7%
- AnswerAutoGrader与人类专家评分对比显示98.9%的高准确率
- ProofAutoGrader与人类专家评分在基础问题和高级问题上的Pearson相关系数分别为0.96和0.93
- 模型在组合数学等需要高级抽象推理的任务上普遍表现困难
实际价值
- 为社区评估未来模型提供了合理的代理工具
- 推动社区从单纯获取答案转向开发深度、可验证的推理过程
- 提供了可扩展、可靠的模型评估方法
- 揭示了当前模型在复杂数学推理任务上的真实能力差距
4️⃣ 术语表
- IMO-Bench：针对国际数学奥林匹克竞赛水平的先进推理基准套件，包含AnswerBench、ProofBench和GradingBench三个组件
- IMO-AnswerBench：包含400个数学奥林匹克问题的基准，问题经过鲁棒化处理，要求短答案
- IMO-ProofBench：包含60个需要完整证明的数学问题的基准，分为基础和高级两个难度子集
- IMO-GradingBench：评估模型证明评分能力的基准，仅提供问题描述和模型生成解，不包含参考答案或详细评分指南
- AnswerAutoGrader：使用大语言模型自动验证数学答案的系统，能处理语义等价但语法不同的答案表达
- ProofAutoGrader：基于Gemini 2.5 Pro的自动证明评分系统
- Gemini Deep Think：在IMO 2025中获得金牌表现的模型，在IMO-AnswerBench上达到80.0%，在高级IMO-ProofBench上达到65.7%
- MAE：平均绝对误差，在IMO-GradingBench中用于衡量模型预测类别与人工评分之间的差异