📄 论文总结
ARGenSeg：基于自回归图像生成模型的图像分割新范式 / ARGenSeg: A New Paradigm for Image Segmentation Based on Autoregressive Image Generation Models
1️⃣ 一句话总结
ARGenSeg是一种基于自回归图像生成模型的图像分割新框架，通过统一的多模态理解和像素级感知，无需额外分割头即可实现最先进的图像分割性能，并显著提升推理效率。
2️⃣ 论文创新点
1. 自回归生成分割范式
- 创新点：将图像分割集成到多模态大语言模型中，通过图像生成方式自然产生目标对象的密集掩码
- 区别/改进：解决了传统方法使用边界点表示或专用分割头导致的视觉细节丢失问题
- 意义：实现了多模态理解和像素级感知的统一框架
2. 多尺度掩码生成与下一尺度预测
- 创新点：采用从粗到细的多尺度掩码生成过程，并行生成视觉标记以加速推理
- 区别/改进：实现4倍以上速度提升，同时增强分割鲁棒性
- 意义：显著提高推理效率，满足实际应用中对快速响应时间的要求
3. 统一自回归框架
- 创新点：将图像理解和生成统一在自回归框架下，使用相同的LLM处理文本和视觉信息
- 区别/改进：避免了传统方法中理解和生成任务的架构分离
- 意义：实现了多模态任务的统一处理，简化了模型架构
4. 高效数据利用与多任务学习
- 创新点：使用仅402K分割样本实现优于使用2.91M样本的方法，同时微调理解和分割数据
- 区别/改进：在更少数据下实现更好性能，同时保持甚至提升视觉定位和抗幻觉能力
- 意义：证明了方法的数据效率和泛化能力，展示了理解与分割任务的相互促进
3️⃣ 主要结果与价值
结果亮点
- 在RefCOCO/+/g和广义参考表达分割基准上均优于现有最先进方法
- 推理速度比Emu3快10倍以上，比VARGPT快约2倍
- 多尺度视觉分词器将推理时间从5.50秒减少到1.28秒，平均分割性能从73.23提升到75.87
- 支持交互式分割（点、涂鸦、边界框等提示）和图像生成能力
实际价值
- 无需专用分割头，实现端到端的统一框架，简化部署流程
- 高推理效率支持实时应用场景
- 可扩展至图像生成等任务，展示统一框架的潜力
- 在复杂分割场景下展现强大的理解能力
4️⃣ 术语表
- ARGenSeg：基于自回归图像生成模型的新型图像分割框架，在统一框架内实现多模态理解和像素级感知
- MLLM：多模态大语言模型，具备多模态理解和生成能力
- VQ-VAE：向量量化自编码器，将图像编码到降采样的潜在空间并将特征量化为离散token ID
- VAR：将视觉自回归生成重新表述为下一尺度预测任务，在保持较多视觉token的同时实现高效率
- RES：参考表达分割任务，要求模型根据自然语言描述分割图像中的目标对象
- gRefCOCO：广义指代表达分割基准，分割指令可能指向多个对象或没有对象
- POPE：用于评估MLLMs中对象幻觉的基准任务
- AGI：通用人工智能