📄 论文总结
IVEBench：指令引导视频编辑的现代基准测试套件 / IVEBench: A Modern Benchmark Suite for Instruction-guided Video Editing
1️⃣ 一句话总结
IVEBench是一个专为指令引导视频编辑设计的现代基准测试套件，通过多样化视频数据库、全面编辑任务分类和三维评估协议，解决了现有基准在视频源多样性、任务覆盖范围和评估指标方面的局限性。
2️⃣ 论文创新点
1. 多样化视频语料库
- 创新点：构建包含600个高质量源视频的数据库，涵盖7个语义维度，视频长度从32到1024帧
- 区别/改进：解决了现有基准视频源多样性不足的问题
- 意义：提高了评估结果的泛化能力
2. 全面编辑任务覆盖
- 创新点：设计8大类编辑任务和35个子类别，通过大语言模型和专家评审生成和优化提示词
- 区别/改进：克服了现有基准编辑提示词受限的问题
- 意义：更好地反映真实世界编辑场景的复杂性
3. 三维评估协议
- 创新点：建立包含视频质量、指令遵从性和视频保真度的三维评估框架，整合传统指标和基于MLLM的评估
- 区别/改进：解决了现有评估指标脆弱和不全面的问题
- 意义：提供全面且与人类对齐的评估结果
4. 混合自动手动过滤流程
- 创新点：采用两阶段处理流程，先自动预处理去除黑边、字幕和低质量内容，再手动筛选确保视频适合编辑
- 区别/改进：相比纯自动过滤，提高了视频质量和适用性
- 意义：构建了高质量、多样化的视频数据集基础
3️⃣ 主要结果与价值
结果亮点
- 现有IVE方法在总分和指令遵从性上得分较低（≤0.7和≤0.45），表明整体编辑能力特别是指令遵循方面有较大改进空间
- 人类对齐验证显示评估指标与人类判断高度一致（Spearman's ρ达0.98+）
- 定性分析揭示了现有模型的共同弱点：编辑定位不准确导致几何失真、语义泄漏等伪影
实际价值
- 为视频编辑模型提供了标准化和系统化的性能评估方法
- 建立了统一的视频编辑评估标准，便于方法间的客观比较
- 为模型改进提供了具体方向和诊断依据
4️⃣ 术语表
- IVE：Instruction-guided Video Editing，指令引导视频编辑，通过自然语言指令指导视频编辑的方法
- MLLM：Multimodal Large Language Model，多模态大语言模型，用于语义理解评估
- IVEBench：专门为指令引导视频编辑设计的现代基准测试套件，包含大规模数据集和专门设计的评估指标
- Content Fidelity：使用Qwen2.5-VL模型评估视频编辑中未编辑内容保真度的指标
- Instruction Compliance：指令遵循度，衡量模型执行编辑指令的准确程度
- Spearman's Rho：斯皮尔曼等级相关系数，用于评估自动指标与人类判断的一致性
- InsV2V：采用分块推理策略和潜在重叠技术的视频编辑模型，具有优越的可扩展性
- 零样本视频编辑：无需额外训练即可对视频进行编辑的技术
- 扩散模型：一种生成模型，通过逐步去噪过程生成数据