📄 论文总结
ViMoGen：基于视频生成先验的通用3D人体运动生成框架 / ViMoGen: A Unified Framework for 3D Human Motion Generation with Video Generation Priors
1️⃣ 一句话总结
ViMoGen通过整合视频生成模型的语义知识与高质量运动捕捉数据，提出了一种创新的双分支架构，显著提升了3D人体运动生成的泛化能力和运动质量，并建立了首个全面评估运动生成模型泛化能力的基准。
2️⃣ 论文创新点
1. ViMoGen-228K大规模数据集
- 创新点：包含228,000个高质量运动样本的大规模数据集，整合了光学动作捕捉数据、网络视频语义标注运动以及视频生成模型合成的样本
- 区别/改进：通过文本-运动对和文本-视频-运动三元组显著扩展语义多样性，解决运动数据稀缺问题
- 意义：为通用运动生成提供丰富多样的训练数据基础
2. 双分支融合架构
- 创新点：基于流匹配的扩散变换器模型，采用门控融合和双分支设计统一MoCap数据和ViGen模型的先验
- 区别/改进：结合动作捕捉的高质量信号和视频生成的语义多样性
- 意义：提升运动生成的泛化能力
3. 自适应分支选择机制
- 创新点：基于视觉语言模型评估文本提示与生成视频内容的语义对齐度，动态选择激活分支
- 区别/改进：高对齐度时激活M2M分支利用多模态信息，低对齐度时激活T2M分支依赖动作捕捉先验
- 意义：实现实例级的动态平衡，兼顾新颖动作的泛化和运动质量保证
4. ViMoGen-light轻量变体
- 创新点：通过知识蒸馏消除视频生成依赖同时保持强泛化能力
- 区别/改进：提高模型效率，降低计算需求
- 意义：使模型更易于部署和应用
5. MBench评估基准
- 创新点：分层基准，用于细粒度评估运动质量、提示保真度和泛化能力
- 区别/改进：提供全面的模型评估框架
- 意义：标准化运动生成模型的评估流程
3️⃣ 主要结果与价值
结果亮点
- 在MBench基准测试中，ViMoGen在运动条件一致性和泛化性上表现最佳
- 自适应分支选择机制显著提升了模型在运动一致性、泛化性上的性能，同时减少了抖动和脚部滑动问题
- T5-XXL文本编码器在泛化与运动质量间取得最佳平衡
实际价值
- 为3D动画制作、虚拟现实和游戏开发提供高效的自动化运动生成方案
- 轻量级变体ViMoGen-light降低了计算需求，便于实际部署
- MBench基准为运动生成领域提供了标准化的评估工具
4️⃣ 术语表
- MoGen：3D人体运动生成
- ViGen：视频生成
- ViMoGen：基于流扩散变换器的文本驱动人体运动生成框架，采用门控融合和双分支设计整合多模态知识
- MBench：综合运动生成评估基准，从运动质量、条件一致性和泛化能力三个维度进行细粒度评估
- ViMoGen-light：ViMoGen的高效变体，仅使用T2M分支，通过知识蒸馏从教师模型获得泛化能力，无需视频生成模型推理
- ViMoGen-228K：包含228,236个文本-动作对的大规模人类动作数据集，结合光学动作捕捉和伪真实数据，具有高运动质量和广泛语义多样性
- SMPL-X：用于表示3D人体网格的标准格式，ViMoGen-228K中所有动作数据都统一到此格式
- T5-XXL：一种预训练文本编码器，在本研究中被证明在运动生成任务中在泛化能力和运动质量方面提供了最佳平衡