📄 论文总结
Wan-Animate：统一角色动画与替换框架
Wan-Animate: A Unified Framework for Character Animation and Replacement
1️⃣ 一句话总结
Wan-Animate是一个基于Wan-I2V模型的统一框架，能够通过改进的输入范式和高精度控制信号实现高质量角色动画生成和角色替换，并引入Relighting LoRA模块增强环境光照一致性。
2️⃣ 论文创新点
1. 统一角色动画与替换框架
- 创新点是什么：首次在单一框架中同时支持角色动画（保留源图像背景）和角色替换（继承参考视频背景）两种核心功能，通过统一的符号表示处理多任务输入。
- 与已有方法的区别/改进：相比现有工作提供更全面的解决方案，统一控制运动、表情和环境交互，减少冗余训练，仅替换模式需要额外Relighting LoRA模块。
- 为什么有意义：填补了现有框架在统一高保真角色动画控制方面的关键空白，显著提升实用性和效率。
2. 改进的输入范式与解耦控制机制
- 创新点是什么：采用改进的输入格式区分参考条件和生成区域，引入参考潜在变量和时间潜在变量支持长视频生成。将控制信号解耦为身体运动（基于2D骨架表示）和面部表情（使用原始面部图像驱动）。
- 与已有方法的区别/改进：解决了不同任务间的输入表示问题，通过空间对齐融合运动信号到噪声潜在空间，表情信号通过交叉注意力机制注入，提供更精确的运动和表情控制。
- 为什么有意义：实现了多任务在统一框架下的协调工作，支持任意长度视频生成，提高系统统一性和灵活性。
3. 空间对齐骨架信号与隐式面部特征
- 创新点是什么：使用空间对齐的骨架信号复制身体运动，从源图像提取隐式面部特征重现表情，避免使用人工定义的地标信号。
- 与已有方法的区别/改进：相比SMPL等3D方法具有更好的通用性和对非人形角色的鲁棒性，保留细节粒度，提升表现力和泛化能力。
- 为什么有意义：实现了角色视频生成的高可控性和表现力，减少跨身份驱动难度。
4. Relighting LoRA模块
- 创新点是什么：专为角色替换模式设计的辅助模块，通过学习调整角色光照和色调以适应新环境，保持角色外观一致性。
- 与已有方法的区别/改进：解决了角色替换中的环境集成问题，提升视觉一致性，在保持角色身份一致性的基础上增加适应性。
- 为什么有意义：实现替换角色与视频环境的更无缝集成，扩展模型应用范围，提升生成视频的真实感和沉浸感。
5. 渐进式训练策略与混合并行优化
- 创新点是什么：采用五阶段渐进训练策略（身体控制、面部控制、联合控制、联合模式训练和Relighting LoRA专项训练），结合FSDP和Context Parallelism优化大规模模型训练。
- 与已有方法的区别/改进：通过分阶段学习策略有效解决复杂身体运动与精细面部表情学习间的冲突，显著提升面部适配器的训练效果和稳定性，减少GPU内存占用并加速训练过程。
- 为什么有意义：确保模型高效学习复杂多模态控制，实现快速收敛和强鲁棒性，使大规模视频生成模型的训练更加高效可行。
3️⃣ 主要结果与价值
实验结果亮点
- 在定量评估中，Wan-Animate在SSIM、LPIPS和FVD指标上均优于多个主流开源和闭源模型
- 在人类评估中，Wan-Animate在跨ID动画设置中优于Runway Act-two和DreamActor-M1等闭源SOTA方案，用户研究表明其综合生成质量更高
- 支持任意输出分辨率，推理片段包含78帧，可通过patchify后的视频token数量动态确定最终分辨率
- 在动画模式和替换模式下的表现均优于Animate Anyone、VACE、Runway Act-two和Dreamactor-M1等对比模型
实际应用价值
- 支持表演重现、跨风格迁移、复杂动作合成、动态镜头运动和角色替换等多个领域的应用潜力
- 能够处理电商营销、内容创作等实际场景中的角色动画和替换需求
- 开源整个框架，提供简化版的重定向管道，降低用户使用门槛
- 支持迭代生成长视频，突破单段生成长度限制
4️⃣ 术语表
- Wan-Animate：基于Wan-I2V构建的统一角色动画和替换框架，能够生成高保真角色视频并实现环境集成，支持动画模式（保留源图像背景）和替换模式（继承参考视频背景）两种功能
- Relighting LoRA：基于LoRA（Low-Rank Adaptation）的轻量级模块，专门用于在角色替换时调整角色光照和色调以适应新环境，保持视觉一致性
- Pose Retargeting：姿态重定向：调整从参考视频提取的骨架以适应源图像中角色的骨骼比例和位置的过程，通过计算肢体长度比例和应用T-pose编辑提高精度
- Face Adapter：用于提取和注入面部信息的模块，包含编码器、特征正交化和时序对齐机制，通过跨注意力与DiT网络融合
- FSDP：Fully Sharded Data Parallelism，全分片数据并行：一种分布式训练策略，通过分片模型参数、梯度和优化器状态来减少每个GPU的内存占用
- DiT：Diffusion Transformer，基于Transformer的可扩展扩散模型，采用纯Transformer架构处理token化视频序列
- VitPose：用于从目标帧中提取角色骨架以生成姿态帧的模型
- CFG：Classifier-Free Guidance，分类器无引导：一种用于调节生成过程的技术，可选性启用以控制面部表情重演效果