📄 论文总结
CityRiSE：基于强化学习的大规模视觉语言模型城市社会经济状况推理框架 / CityRiSE: A Reinforcement Learning Framework for Urban Socioeconomic Inference with Large Vision-Language Models
1️⃣ 一句话总结
CityRiSE是一个通过强化学习在大规模视觉语言模型中实现城市社会经济状况推理的创新框架，显著提升了模型在未见城市和指标上的预测准确性和泛化能力，同时提供可解释的推理过程。
2️⃣ 论文创新点
1. 强化学习引导的视觉注意力机制
- 创新点：通过精心设计的奖励机制引导LVLM关注语义相关的视觉线索，实现结构化、目标导向的推理
- 区别/改进：克服了LVLM在视觉数据社会经济预测中的准确性和可解释性问题
- 意义：提高了模型的解释能力，实现了结构化推理过程
2. GRPO训练策略与可验证奖励机制
- 创新点：采用组相对策略优化作为训练策略，设计了包含回归奖励和关键词奖励的可验证奖励机制
- 区别/改进：GRPO支持无真实标签的跨响应组学习；奖励机制通过回归奖励确保数值准确性，通过关键词奖励引导模型产生连贯的目标导向推理链
- 意义：实现了有效的奖励学习并诱导出可解释的推理过程
3. 辅助数据集构建
- 创新点：构建了两个辅助数据集：感知城市推理数据和通用视觉推理数据，分别针对城市感知中的中间任务和逻辑驱动的抽象推理任务
- 区别/改进：弥补了主任务数据在迁移学习能力上的不足，针对性培养了模型的感知和抽象推理技能
- 意义：是实现跨城市和跨指标强泛化能力的关键因素之一
4. 指标离散化处理
- 创新点：将社会经济指标离散化为10个bin并归一化到1-10的范围
- 区别/改进：统一处理了异构的指标尺度，便于模型进行稳定的优化和跨不同预测目标的一致输出
- 意义：为模型处理多种指标提供了统一的框架，促进了泛化能力
3️⃣ 主要结果与价值
结果亮点
- 在11个预测任务中超越SOTA基线模型
- 在未见城市和未见指标设置中展示了强大的空间可转移性
- 能够自主生成逐步推理过程，提供可解释的预测依据
- 通过消融实验验证了回归奖励和关键词奖励的互补作用
实际价值
- 为可解释的通用城市社会经济感知开辟了新途径
- 适应新指标和城市背景，为社会经济发展预测提供通用框架
- 通过基于语言的提示处理多样任务，无需对每个目标进行显式训练
- 从卫星和街景图像解释社会经济状况，减少对传统数据收集的依赖
4️⃣ 术语表
- CityRiSE：通过强化学习在大规模视觉语言模型中推理城市社会经济状况的框架，旨在实现跨城市和跨指标的强泛化以及可解释的推理
- LVLMs：Large Vision-Language Models，大规模视觉语言模型
- GRPO：Group Relative Policy Optimization，一种强化学习训练策略，用于在无真实标签的情况下，对响应组进行有效的基于奖励的学习
- R²：决定系数，用于评估模型预测性能的指标，值越高表示模型拟合越好
- SFT-LVLM：监督微调的大视觉语言模型，在通用LVLM基础上通过领域特定数据微调
- Huber损失：一种损失函数，在误差较小时表现为二次形式保证稳定性，在误差较大时表现为线性形式减少对异常值的敏感性
- UI-CoT：基于人工构建思维链注释进行监督微调的模型