📄 论文总结
- 中英文论文题目：Deep-DxSearch: 强化学习驱动的医疗诊断检索增强生成系统 / Deep-DxSearch: A Reinforcement Learning-Driven Agentic RAG System for Medical Diagnosis
1️⃣ 一句话总结
Deep-DxSearch 是一个通过强化学习联合优化检索与推理策略的医疗诊断系统，解决了传统LLM在医疗诊断中的知识局限性和幻觉问题，显著提升了常见病和罕见病的诊断准确性及可追溯性。
2️⃣ 论文创新点
1. 端到端强化学习驱动的RAG框架
- 创新点：首次将LLM作为核心代理，检索库作为环境，通过强化学习联合优化检索与推理策略。
- 区别/改进：传统RAG系统依赖静态检索策略，而Deep-DxSearch通过动态动作选择（如检索、推理、诊断）实现端到端优化。
- 意义：提升诊断流程的灵活性和准确性，尤其在罕见病诊断中表现突出（如RareBench的top-1准确率提升35.78%）。
2. 多维度奖励机制与自适应检索策略
- 创新点：设计四维奖励（格式、患者匹配、搜索、诊断）和自适应检索策略（hit@20从25.79%提升至60.39%）。
- 区别/改进：传统方法缺乏中间监督，而Deep-DxSearch通过轨迹级信用分配优化多步动作。
- 意义：增强推理鲁棒性，显著提升鉴别诊断能力（top-5准确率提升近30%）和无关信息排除能力。
3. 大规模异构医疗语料库构建
- 创新点：整合ICD-10-CM、Orphanet、HPO等权威数据源，构建迄今最大的医学检索语料库。
- 区别/改进：覆盖疾病指南、患者病例和医学知识库，支持跨场景检索感知推理。
- 意义：解决数据不平衡问题，为诊断提供全面且可追溯的证据支持。
4. 软奖励RL框架与分阶段训练策略
- 创新点：提出组相对策略优化（GRPO）和分阶段奖励适应（如第二阶段仅激活患者匹配奖励）。
- 区别/改进：替代传统两阶段RL，避免优化方向偏差。
- 意义：在分布外（OOD）评估中保持高性能，验证了方法的泛化能力。
3️⃣ 主要结果与价值
实验结果亮点
- 诊断准确性：在常见病和罕见病诊断任务中，top-1准确率分别提升28.5%和35.78%（RareBench）。
- 泛化性：在Qwen2.5-14B、Llama3.1-8B等基础模型上均表现稳健，OOD评估性能优于GPT-4o和DeepSeek-R1。
- 检索效率：自适应检索策略使相关病例检索命中率（hit@20）提升至60.39%。
实际应用价值
- 医疗诊断：为临床医生提供可追溯的辅助决策工具，尤其适用于低流行率疾病诊断。
- AI可解释性：通过结构化诊断工作流和证据整合，增强模型输出的可信度。
- 跨领域扩展：框架可迁移至其他安全关键领域（如法律、金融），优化信息检索与推理流程。
4️⃣ 术语表
- Deep-DxSearch：基于强化学习的医疗诊断RAG系统，联合优化检索与推理策略。
- RAG（Retrieval-Augmented Generation）：检索增强生成技术，通过外部知识库提升模型输出质量。
- ID/OOD：分布内（In-distribution）/分布外（Out-of-distribution）评估，衡量模型泛化能力。
- GRPO（Group Relative Policy Optimization）：替代传统PPO的强化学习算法，优化策略训练效率。
- MIMIC-IV：包含ICU和急诊科就诊记录的公共临床数据集。
- ICD-10-CM：国际疾病分类第十版临床修改版，用于标准化疾病术语。
- Orphanet：罕见病数据库，覆盖低流行率疾病信息。
- Agentic RAG：基于代理的RAG方法，通过动态动作选择增强系统灵活性。