📄 论文总结
Durian：零样本肖像动画与跨身份属性迁移方法
Durian: Zero-Shot Portrait Animation and Cross-Identity Attribute Transfer
1️⃣ 一句话总结
Durian是一种基于扩散模型的零样本肖像动画生成框架，首次实现从参考图像中迁移面部属性到目标肖像，无需逐帧标注或三维训练数据，支持多属性组合和平滑插值。
2️⃣ 论文创新点
1. 双参考网络架构（Dual ReferenceNet）
- 创新点是什么：采用独立的Attribute ReferenceNet（ARNet）和Portrait ReferenceNet（PRNet）分别处理属性图像和肖像图像，通过空间注意力机制融合特征。
- 与已有方法的区别/改进：相比单参考网络，能更好地分离和处理属性与身份特征，防止不希望的混合。
- 为什么有意义：实现精确的属性迁移同时保持身份一致性的关键设计。
2. 自参考训练框架扩展
- 创新点是什么：将基于示例的图像修复自参考训练扩展到视频领域，使用随机采样帧分解为属性图像和属性遮罩肖像图像来训练扩散模型生成剩余帧。
- 与已有方法的区别/改进：无需逐帧遮罩标注或跨身份监督的三元组数据。
- 为什么有意义：实现零样本属性迁移动画，无需额外训练即可单次生成。
3. 属性感知遮罩扩展策略
- 创新点是什么：通过结合原始属性遮罩和基于SDXL与ControlNet生成的属性遮罩，模拟训练中属性不同形状和覆盖范围。
- 与已有方法的区别/改进：相比HairFusion使用针对头发的固定启发式方法，此方法能泛化至多种面部属性。
- 为什么有意义：使模型能够学习空间灵活且语义 grounded 的迁移模式。
4. 参考图像增强
- 创新点是什么：对属性图像和遮罩后的肖像图像应用随机仿射变换和颜色抖动，并使用FLUX模型进行外绘以完成内容。
- 与已有方法的区别/改进：通过引入空间和光度变化，克服自重建设置中多样性有限的问题。
- 为什么有意义：使模型在真实世界的变化下能进行更鲁棒的属性迁移和动画生成。
3️⃣ 主要结果与价值
实验结果亮点
- 在CelebV-Text、VFHQ和Nersemble数据集上的定量评估显示，该方法在L1、PSNR、SSIM、LPIPS、FID等指标上均优于多个基线模型组合。
- 消融研究验证了双分支ReferenceNet架构、属性感知增强、参考图像增强和参考遮罩输入等关键组件的有效性。
- 支持零样本多属性组合迁移，能够一次性处理多个属性（如头发、眼镜、胡须、帽子）并处理重叠区域的交互。
实际应用价值
- 支持零样本属性插值，通过线性插值参考特征实现不同属性图像间的平滑过渡，支持形状、外观、颜色、体积和风格的渐变。
- 简化了肖像动画流程，支持组合编辑和平滑动画，无需多阶段推理或微调即可实现身份保持、逼真的视频合成。
- 提高了训练效率和泛化能力，通过掩码扩展策略和定制空间增强方法，提升模型对姿态和对齐变化的鲁棒性。
4️⃣ 术语表
- Durian：零样本肖像动画生成方法，支持面部属性迁移，基于扩散的生成框架，用于肖像动画与跨身份属性转移。
- 双参考网络（Dual ReferenceNet）：由Attribute ReferenceNet（ARNet）和Portrait ReferenceNet（PRNet）组成的双分支网络架构，用于提取属性区域和肖像区域的多尺度空间特征。
- 自参考训练（self-reference training）：自参考训练设置，常用于基于示例的图像修复，本文扩展到视频领域，用于属性迁移的肖像动画。
- 属性遮罩肖像图像（attribute-masked portrait image）：属性遮罩肖像图像，作为扩散模型的输入之一，包含部分遮罩的属性信息。
- 空间注意力（Spatial Attention）：空间注意力机制，通过宽度拼接和注意力计算整合多源特征。
- 跨注意力（cross-attention）：跨注意力操作，用于将条件嵌入注入到特征图中，公式为CA(F, φ) = Attention(W_Q' F, W_K' φ, W_V' φ)。
- 时间自注意力（temporal self-attention）：时间自注意力，插入到去噪U-Net的每个块中，用于建模帧间一致性和运动动力学。
- Sapiens：用于获取面部属性（如头发、眼镜、胡须）的二进制分割遮罩的模型。
- GAGAvatar：一个从单图像重建3D头像的流程，用于在推理时对齐属性图像与肖像图像的姿态。
- CelebV-Text：包含文本描述的人脸视频数据集，用于训练和评估肖像编辑模型。
- LPIPS：Learned Perceptual Image Patch Similarity，衡量图像感知相似度的指标，值越低表示相似度越高。
- FID：FrÉchet Inception Distance，用于评估生成图像感知真实性的指标。
- 属性插值（Attribute Interpolation）：通过线性混合参考特征实现属性间的平滑过渡。