📄 论文总结
深度研究系统的强化学习基础综述
A Survey on Reinforcement Learning Foundations for Deep Research Systems
1️⃣ 一句话总结
本文首次系统性地综述了强化学习在深度研究系统中的应用，提出了以RL为核心的端到端训练新范式，以克服传统SFT/DPO方法在模仿偏差、信用分配短视和多目标优化等方面的局限性，并系统化地组织了数据合成、RL方法和训练框架三大核心方向。
2️⃣ 论文创新点
1. 深度研究系统的RL基础综述
- 创新点是什么：首次系统性综述了强化学习在深度研究系统（Deep Research Systems）中的应用与理论基础。
- 与已有方法的区别/改进：填补了该领域缺乏系统性RL综述的空白，超越了仅关注SFT或DPO的传统方法。
- 为什么有意义：为构建更鲁棒、透明且能进行长视野信用分配和多目标优化的深度研究智能体提供了理论指导和实践框架。
2. 系统化RL用于智能体研究的三大轴心
- 创新点是什么：将相关工作系统化地组织为三个核心方向：数据合成与整理、用于智能体研究的RL方法（涵盖稳定性、样本效率、长上下文处理、奖励与信用设计、多目标优化和多模态集成）以及智能体训练系统与框架。
- 与已有方法的区别/改进：提供了一个清晰的结构化分析框架，便于理解和对比不同技术路线。
- 为什么有意义：帮助研究者和实践者快速掌握领域全貌，识别关键挑战和基础设施瓶颈。
3. 以RL为核心的深度研究智能体训练新范式
- 创新点是什么：提出了将强化学习作为训练深度研究智能体的端到端核心方法，以克服SFT/DPO方法的根本局限性。
- 与已有方法的区别/改进：相较于SFT/DPO的短视、离线和模式依赖特性，RL支持在闭环的、工具丰富的环境中进行轨迹级学习，能够实现跨多步追踪的信用分配，并支持探索替代策略。
- 为什么有意义：为构建能够在动态、非平稳环境中进行稳健、真实世界问题解决的深度研究智能体提供了理论基础和实践方向。
4. 分层智能体架构
- 创新点是什么：将深度研究系统分解为Planner（规划）、Coordinator（协调）和Executors（执行）三层结构。
- 与已有方法的区别/改进：解耦了战略规划与执行细节，支持并行化、插件化专业工具和更紧密的流程监控。
- 为什么有意义：提升系统可部署性、可扩展性和可审计性，保持长期状态一致性。
5. 工具令牌梯度掩码
- 创新点是什么：在工具增强优化中，屏蔽工具生成令牌的梯度计算，仅对模型生成令牌计算梯度和KL散度。
- 与已有方法的区别/改进：解决了错误使用工具时的训练不稳定问题。
- 为什么有意义：显著提升了工具增强推理任务的训练稳定性。
3️⃣ 主要结果与价值
实验结果亮点
- RL通过优化轨迹级策略，能够实现探索、恢复行为、合理的信用分配，并减少对人类先验和评估者偏见的依赖。
- 采用SFT/RSFT进行冷启动后再进行RL训练的两阶段流程被证明能提高早期稳定性、避免奖励崩溃，并加速收敛过程。
- 复合奖励设计（结合结果奖励和格式奖励）在保证答案正确性的同时确保了推理轨迹的规范性。
实际应用价值
- 为深度研究智能体训练提供了可靠奖励和高效探索，支持长视野工具使用和可验证成功。
- 系统化视角审视智能体RL训练，促进深度研究智能体训练在实践中可操作性和可扩展性，推动从研究到实际应用的转化。
- 提出的QA任务复杂度四级分类法，为课程设计、结果分层报告和失败模式诊断提供了共同语言和实用工具。
4️⃣ 术语表
- Deep Research Systems：深度研究系统，一种能够通过协调推理、网络搜索、用户文件搜索和工具使用来解决复杂多步任务的智能体AI（Agentic AI），通常采用包含规划器（Planner）、协调器（Coordinator）和执行器（Executors）的分层部署。
- SFT (Supervised Fine-Tuning)：监督微调，用于初始化深度研究代理，擅长教授协议保真度和基本逐步推理模式，但在多轮任务中存在模仿偏差和暴露偏差限制。
- DPO (Direct Preference Optimization)：直接偏好优化，一种用于对齐模型与人类偏好的方法，但文中指出其存在模式依赖、离策略以及长视野信用分配和多目标权衡能力较弱等局限性。
- Reinforcement Learning (RL)：强化学习。被提出作为训练深度研究智能体的更有前景的端到端方法，因其能处理闭环环境、进行多步轨迹的信用分配并支持探索。
- ReAct：Reasoning+Action框架，通过交错推理和工具使用实现多步问题解决。
- GRPO：Group Relative Policy Optimization，一种使用组基线的强化学习优化器。
- Construct & Curate：任务构建与筛选。Construct将语料库/网络图/近期源映射为候选任务，Curate通过过滤和调度管道筛选任务，实施污染/新颖性门控和难度分级。