📄 论文总结
OmniX：统一全景视觉感知与生成框架 / OmniX: Unified Panoramic Visual Perception and Generation Framework
1️⃣ 一句话总结
OmniX是一个基于预训练2D流匹配模型的多功能统一框架，通过轻量级跨模态适配器结构实现全景生成、感知和补全，并构建了大规模合成全景数据集PanoX，用于构建图形就绪的3D场景。
2️⃣ 论文创新点
1. 统一全景生成与感知框架
- 创新点：将密集视觉感知和视觉补全统一到2D生成范式中，利用预训练2D流匹配模型进行全景几何、纹理和PBR材质的感知
- 区别/改进：相比现有强调外观生成而忽略内在属性感知的2D提升方法，OmniX能够感知场景的固有属性
- 意义：使生成的3D场景能够集成到现代图形管线中，支持PBR、重光照和物理动力学模拟
2. 跨模态适配器结构
- 创新点：提出有效的跨模态适配器结构，能够处理多个输入而不显著改变预训练模型权重，其中Separate-Adapter结构表现最佳
- 区别/改进：轻量级且高效的适配器设计，充分利用2D生成先验用于不同视觉任务
- 意义：有效提升全景视觉感知性能，支持全景感知、生成和补全等多种任务
3. PanoX全景数据集
- 创新点：构建了大规模合成全景数据集，包含来自多样室内外场景的高质量多模态全景数据
- 区别/改进：解决了高质量密集全景数据短缺的问题
- 意义：为全景视觉感知和图形就绪3D场景生成提供数据支持
3️⃣ 主要结果与价值
结果亮点
- 在全景本征分解任务中，OmniX在Albedo、Roughness和Metallic三个属性的PSNR和LPIPS指标上均超越五个对比方法，取得最优性能
- 在几何估计方面，OmniX在法线估计的所有指标上均最优，在距离估计上也取得第二好的成绩，且使用远少于对比方法MoGe的训练数据
- 消融实验验证了Separate-Adapter结构性能最佳，相机光线输入对法线图估计精度有轻微提升
实际价值
- 能够生成沉浸式、逼真且与图形兼容的3D场景，支持自由探索、基于PBR的重照明和物理模拟
- 通过三阶段流水线（多模态全景生成、场景重建、交互式补全）实现从单张图像构建可探索的图形就绪3D场景
- 为城市尺度3D场景构建提供可行解决方案，支持交互式场景补全
4️⃣ 术语表
- OmniX：一个多功能统一框架，利用预训练2D流匹配模型进行全景生成、感知和补全，用于构建图形就绪3D场景
- PBR：基于物理的渲染(Physically Based Rendering)，一种图形渲染技术，能够产生物理上真实的光照效果
- PanoX：合成全景数据集，覆盖室内外场景及多种视觉模态（如深度、法线、反射率、粗糙度、金属度），提供全景感知基准
- Separate-Adapter：一种跨模态适配器结构，为不同类型的输入分配特定的适配器权重，在DiT架构中实现最佳性能
- PSNR：峰值信噪比，用于衡量图像重建质量，值越高表示重建图像与原始图像越接近
- LPIPS：学习感知图像块相似度，一种基于深度学习的图像质量评估指标，值越低表示感知质量越好
- LoRA：大型语言模型的低秩适应方法，通过低秩分解来高效适配大模型，减少计算和存储开销