📄 论文总结
通用视频生成模型在手术领域的局限性评估：SurgVeo基准与外科合理性金字塔框架 / Assessing the Limitations of General Video Generation Models in Surgical Domains: SurgVeo Benchmark and Surgical Plausibility Pyramid Framework
1️⃣ 一句话总结
本研究揭示了通用视频生成模型如Veo-3在手术领域存在显著的'合理性差距'，提出了首个专家策划的手术视频生成评估基准SurgVeo和四层评估框架SPP，系统评估了模型从视觉感知到手术策略理解的多维度能力。
2️⃣ 论文创新点
1. SurgVeo基准
- 创新点：首个专门为评估手术视频生成模型设计的公开基准测试，包含来自腹腔镜子宫切除术和神经外科内窥镜手术的50个视频片段，覆盖多种手术阶段和复杂度
- 区别/改进：填补了通用视频生成模型在专业医疗领域评估的空白，提供了标准化的评估框架
- 意义：为手术AI的发展提供了系统化的评估基础，促进模型比较和进步
2. 外科合理性金字塔(SPP)
- 创新点：专门设计的四层评估框架，从视觉感知到手术策略进行多层次评估，包括：视觉感知合理性、器械操作合理性、环境反馈合理性和手术意图合理性
- 区别/改进：超越了表面视觉指标，实现了基于临床的深度评估，提供从基础外观到复杂因果推理的系统性评估方法
- 意义：揭示了模型在视觉逼真性和真实手术理解之间的差距，为量化高级视频生成模型中视觉真实感与真正外科理解之间的差异提供了稳健框架
3️⃣ 主要结果与价值
结果亮点
- Veo-3模型在视觉感知层面表现优秀，但在更高级别的器械操作、环境反馈和手术意图等关键维度上存在显著的'合理性差距'
- 随着预测时间范围的增加，手术可信度显著下降，而提示策略对改善性能无效，表明模型问题源于根本性的领域知识推理缺陷
- 定量分析显示，基本视觉质量失真仅占失败案例的极小部分（腹腔镜6.2%，神经外科2.8%），超过93%的错误是外科逻辑的关键失败
实际价值
- 为手术视频生成研究提供标准化评估框架，促进模型比较和进步
- 揭示了当前外科视频生成模型的主要瓶颈在于高层次外科逻辑而非基本视觉质量
- 为开发能够桥接通用物理推理和领域专业知识的外科世界模型提供系统评估框架
4️⃣ 术语表
- SurgVeo：首个专家策划的手术视频生成模型评估基准，包含腹腔镜手术和神经外科手术两个专业轨道
- Surgical Plausibility Pyramid (SPP)：外科合理性金字塔，包含四个层次评估维度的框架：视觉感知合理性、器械操作合理性、环境反馈合理性和外科意图合理性，用于评估生成手术视频的合理性
- Veo-3：先进的视频生成模型，在零样本条件下用于生成手术视频延续
- plausibility gap：合理性差距，指生成视频在基本视觉质量与高层次外科逻辑合理性之间的显著差异