📄 论文总结
基于生成器-验证器框架的医学视觉问答数据合成系统 / MedVLSynther: A Generator-Verifier Framework for Medical Visual Question Answering Data Synthesis
1️⃣ 一句话总结
本研究提出了MedVLSynther框架，通过基于规则的上下文感知生成和多阶段验证机制，从开放生物医学文献中合成高质量的医学视觉问答数据集MedSynVQA，显著提升了医学多模态模型的性能。
2️⃣ 论文创新点
1. MedVLSynther生成器-验证器框架
- 创新点：基于开放权重大语言模型的生成器-验证器系统，从PubMed等开放生物医学文献的图表和文本中自动生成并审核VQA三元组数据
- 区别/改进：解决了现有医疗VQA数据集的局限性：手动标注数据规模小，自动生成数据噪声大，封闭数据不可公开使用
- 意义：提供可审计、可复现且保护隐私的医疗VQA训练数据生成路径，不依赖私有患者数据
2. 基于规则的上下文感知生成
- 创新点：生成器在给定图表、标题和参考段落的情况下，按照全面规则生成VQA项目，确保问题自包含、选项平行互斥
- 区别/改进：相比仅使用文本LLM生成的方法，能有效过滤低质量、模糊和医学上可疑的答案
- 意义：保证生成数据的质量和与上下文的关联性，产生考试质量的医学视觉问答项目
3. 多阶段基于量规的验证
- 创新点：验证器通过三个阶段的评分系统评估生成的VQA：基本门控、细粒度正面标准和惩罚标准，采用严格的评分公式和高质量阈值
- 区别/改进：模型无关的设计，可使用任何开放权重LMM实例化，提高鲁棒性
- 意义：确保最终数据的高质量和可靠性，实现大规模、高精度的自动验证
3️⃣ 主要结果与价值
结果亮点
- 使用MedSynVQA数据训练的模型在多个医学VQA基准测试中表现优于基线方法
- RLVR强化学习方法普遍优于标准监督微调，在相同数据源下获得最高平均准确率
- 5K数据量接近性能峰值，在计算成本与性能间达到最佳平衡
- 3B和7B模型分别在多个基准测试中达到55.85和58.15的平均分
实际价值
- 为医学LMM提供可靠、开放、可审计的训练数据，解决医疗领域监督数据稀缺问题
- 完全基于开放数据和模型的透明可复现流水线，促进医学AI研究的可重复性
- 支持多种训练方法，包括监督微调和带语言奖励的强化学习
- 覆盖13种模式和28个解剖区域，包含13,087个问题，提供全面的医学图像理解评估
4️⃣ 术语表
- MedVLSynther：基于评分标准、上下文感知的生成器-验证器流水线，用于从开放生物医学文章中合成可靠的医学VQA数据
- MedSynVQA：通过MedVLSynther框架生成的医学视觉问答数据集，覆盖13种模式和28个解剖区域，包含13,087个问题
- RLVR：带可验证奖励的强化学习，使用可验证奖励的强化学习，用于在MedSynVQA数据上训练模型，在答案级别进行优化而不依赖思维轨迹
- Biomedica：从PubMed Central开放获取集合中大规模提取图表和图级元数据的数据集
- GLM-4.5V-108B：一种最先进的开源权重大型多模态模型，具有长上下文视觉语言推理能力，被用作默认的生成器