📄 论文总结
WorldGrow：基于区域生长的无限3D世界生成框架 / WorldGrow: A Region-Growth Based Framework for Infinite 3D World Generation
1️⃣ 一句话总结
WorldGrow是一个创新的3D场景生成框架，通过分层块级合成和区域生长策略，从单个种子块逐步生成具有连贯几何结构和逼真外观的无限可扩展3D世界。
2️⃣ 论文创新点
1. 场景友好的SLATs表示
- 创新点：将对象级3D表示适配为场景友好型，通过遮挡感知特征聚合和场景块数据重训练解码器，迁移学习到的对象先验知识来生成具有精细几何和外观的场景块
- 区别/改进：解决了直接对象特征聚合导致遮挡区域表示不准确，以及预训练解码器在边界产生伪影的问题
- 意义：显著减少结构伪影，提高遮挡区域表示一致性，改善边界几何和纹理的连贯性
2. 两阶段3D块修复框架
- 创新点：采用结构空间和潜在空间的两阶段修复，先预测3D结构，再重建潜在特征，通过流匹配损失进行优化
- 区别/改进：修改输入层，将噪声潜在、修复区域二值掩码和已知掩码区域沿通道维度拼接，使模型能基于已知上下文和缺失区域空间线索进行预测
- 意义：提升3D块修复的空间连续性和稳定性，同时保留已观察内容
3. 从粗到细生成策略
- 创新点：使用粗粒度模型先构建场景结构，再用细粒度模型细化几何和纹理，通过上采样和结构引导去噪增强局部几何细节
- 区别/改进：分离训练粗块和细块模型，平衡全局一致性和局部细节
- 意义：实现大规模场景布局的快速建立与局部细节的丰富恢复，在全局连贯性和局部真实感间达到优越平衡
4. 块扩展与重叠上下文机制
- 创新点：通过块扩展策略逐步生成无限3D世界，每个新块利用相邻块的重叠区域作为上下文，修复中缺失区域形成新块
- 区别/改进：重用现有块的特定区域作为上下文，确保块间平滑过渡和一致上下文窗口
- 意义：支持无限场景生成，确保跨块边界的连续性和空间一致性
3️⃣ 主要结果与价值
结果亮点
- 在3D-FRONT和UrbanScene3D数据集上的定量评估显示，在MMD、COV、1-NNA和FID等多个指标上优于现有方法
- 人类偏好研究中，在结构合理性、几何细节和外观保真度方面均获得最高评分
- 块扩展稳定性实验证明在远距离扩展时仍能保持生成质量，没有质量恶化或接缝累积
- 与BlockFusion、SynCity、TRELLIS等方法相比，展现出更好的视觉保真度和场景连贯性
实际价值
- 为具身AI训练和仿真提供可扩展的高质量3D内容生成方案
- 支持无限虚拟环境构建，适用于游戏开发、虚拟现实和数字孪生应用
- 模块化设计便于集成到现有的3D内容创作流程中
- 生成的场景具有合理的全局布局和丰富的局部细节，满足实际应用需求
4️⃣ 术语表
- WorldGrow：用于无限3D世界生成的分层框架，通过块级合成和生长实现，基于块的上文感知修复机制和从粗到细的优化策略构建无边界环境
- SLATs：结构化潜在表示，将多视图特征投影到体素并聚合形成视觉特征，最初用于对象级生成，经改进后适用于场景块合成
- 3D-FRONT：大规模3D数据集，包含大量房屋布局和家具细节，WorldGrow主要在此数据集上训练和验证
- 场景块：通过布尔交集从完整3D场景网格中提取的连续且可重用的3D块，分为粗块和细块两种尺度
- 流匹配损失：用于优化结构生成器和潜在生成器的损失函数，公式为min_θ E[∥G(ℓ(t), m, ℓ(0)_m, x, t) - (ε - ℓ(0))∥₂²]，其中ℓ(0)_m是掩码后的潜在代码
- FID：Fréchet Inception Distance，用于评估生成图像质量的指标，值越低表示生成图像与真实图像越相似
- MMD：最大均值差异，用于衡量生成分布与真实分布之间的差异，值越低表示生成质量越好
- SOTA：State-of-the-art，指当前最先进的性能水平