📄 论文总结
WithAnyone：解决身份一致图像生成中的复制-粘贴伪影问题 / WithAnyone: Addressing Copy-Paste Artifacts in Identity-Consistent Image Generation
1️⃣ 一句话总结
论文提出了WithAnyone模型，通过大规模多身份数据集、对比身份损失训练策略和标准化评估基准，有效解决了身份定制图像生成中的复制-粘贴伪影问题，在保持身份相似性的同时显著提升了生成的自然性和多样性。
2️⃣ 论文创新点
1. MultiID-2M大规模多身份数据集
- 创新点：构建了包含50万组图像的大规模开源多身份数据集，覆盖1-5人场景，为每个身份提供多样化的参考图像
- 区别/改进：解决了现有数据集中缺乏配对参考图像的问题，支持多身份生成训练
- 意义：为可控多身份生成提供了必要的数据基础，减少对单一人物重建训练的依赖
2. 对比身份损失训练范式
- 创新点：引入新颖的训练范式，利用对比身份损失平衡身份保真度与生成多样性
- 区别/改进：通过配对数据训练，避免过度复制参考图像，促进自然变化
- 意义：有效减轻复制-粘贴伪影，提升生成可控性和表达力
3. MultiID-Bench评估基准
- 创新点：提出综合基准，量化复制-粘贴伪影及身份保真度与变化之间的权衡
- 区别/改进：提供内在评估指标，衡量模型在多人身份生成中的性能
- 意义：为研究社区提供标准化评估工具，促进模型比较和进步
4. 基于真实标注的身份损失
- 创新点：在计算身份损失时使用真实图像的人脸关键点来对齐生成图像和真实图像的ArcFace嵌入
- 区别/改进：解决了以往方法因生成图像噪声导致关键点检测不可靠的问题
- 意义：使身份损失可以在所有噪声水平应用，实现更准确的身份测量和显著改善的身份保持
5. 四阶段训练流程
- 创新点：采用逐步从重建转向可控身份保持合成的训练方法
- 区别/改进：通过分阶段训练，先建立身份条件通路，再抑制复制粘贴行为，最后提升生成质量
- 意义：实现了身份保持与生成质量的有效平衡，解决了身份条件生成中的过拟合问题
3️⃣ 主要结果与价值
结果亮点
- 在保持最高人脸相似度的同时显著降低了复制-粘贴伪影
- 在OmniContext基准测试中取得了最佳性能
- 与现有通用定制/编辑模型以及人脸定制生成模型相比，在身份一致性和生成灵活性方面表现更优
- 消融实验验证了配对数据微调、GT对齐的ID损失和扩展负样本在InfoNCE损失中的关键作用
实际价值
- 为更忠实、可控和鲁棒的身份定制提供了实用路径
- 支持多人场景下的高质量图像生成，适用于合影生成、虚拟社交等应用
- 通过标准化评估框架促进了多身份生成技术的比较和发展
4️⃣ 术语表
- copy-paste artifact：生成模型直接复制参考图像面部而非保持身份自然变化的失败模式，限制了可控性和表达力
- MultiID-2M：大规模开源多身份数据集，包含50万组图像，专为可控多身份图像生成设计
- WithAnyone：基于FLUX架构的身份定制模型，能减少复制粘贴伪影，用于可控、高保真多身份生成的统一架构和训练方法
- MultiID-Bench：用于评估多身份图像生成模型的基准数据集，包含单人和多人子集
- Sim(GT)：生成图像与真实图像之间的身份相似度指标，值越高表示身份保持越好
- Copy-Paste metric：基于角度距离的指标，评估生成图像偏向参考图像的程度，取值范围[-1,1]
- GT-aligned ID Loss：一种身份损失，使用真实图像的人脸关键点来对齐生成图像和真实图像的ArcFace嵌入进行计算
- OmniContext：一个基准测试数据集，用于评估模型在多上下文场景下的性能
- Flux：Black Forest Labs开发的生成模型
- DynamicID：零样本多ID图像个性化方法