📄 论文总结
游戏内思考：通过语言建模与强化学习弥合程序性知识差距
Think-In-Games: Bridging the Procedural Knowledge Gap through Language Modeling and Reinforcement Learning
1️⃣ 一句话总结
本研究提出了Think-In-Games (TiG)框架，通过将强化学习任务重新表述为语言建模任务，使大型语言模型能够在游戏环境中发展程序性理解，同时保持其推理和解释能力，有效弥合了陈述性知识与程序性知识之间的差距。
2️⃣ 论文创新点
1. Think-In-Games (TiG)框架
- 创新点是什么：将传统强化学习决策任务重新表述为语言建模任务，使用LLM生成语言策略，并通过与游戏环境的在线交互进行细化
- 与已有方法的区别/改进：解决了LLMs缺乏程序性理解和传统RL代理缺乏解释能力的问题
- 为什么有意义：弥合了陈述性知识与程序性知识之间的差距，使AI系统既能执行任务又能解释推理过程
2. 宏观层面推理框架
- 创新点是什么：将MOBA游戏中的战略决策抽象为宏观动作空间，使LLM专注于高层次策略而非低层次操作
- 与已有方法的区别/改进：通过定义有限的宏观动作集（K=40），简化了奖励设计和评估过程
- 为什么有意义：使LLM能够学习专家玩家的宏观推理能力，如目标控制和团队协调，促进对游戏机制的深入理解
3. 重标注算法
- 创新点是什么：开发了一种处理游戏状态转换导致的不一致或稀疏动作标签的算法，通过向后传播检测到的动作标签来densify和平滑标注序列
- 与已有方法的区别/改进：解决了原始标注稀疏性问题，确保每个游戏状态都与相关的宏级别动作关联
- 为什么有意义：提高了训练数据的质量和一致性，为模型学习提供了更可靠的监督信号
4. 基于优先级的动作层次结构
- 创新点是什么：形式化了动作优先级，定义为关键性、时间窗口和游戏影响的函数，并基于人类专家知识构建了优先级层次结构
- 与已有方法的区别/改进：为动作标签的冲突解决提供了依据，确保在重叠动作中表示最重要的动作
- 为什么有意义：使模型能够理解和优先处理游戏中的关键决策（如争夺Baron或Dragon、参与团战），提升了决策的合理性
3️⃣ 主要结果与价值
实验结果亮点
- TiG框架在《王者荣耀》游戏中得到验证，显著提升了模型在游戏环境中的推理能力和泛化性能
- 多阶段训练策略（SFT和GRPO结合）显著提升了不同规模模型的推理性能，如Qwen-2.5-32B从66.67%提升至86.84%
- 小模型通过该方法能媲美甚至超越参数量大一个数量级的大模型，展示了方法的高效性和可扩展性
实际应用价值
- 为游戏AI开发提供了新的方法框架，增强了环境适应性和决策能力
- 减少了数据和计算需求，同时提高了透明度和可解释性
- 展示了在复杂交互任务中增强透明度和可解释性的潜力
4️⃣ 术语表
- LLMs (Large Language Models)：大型语言模型，能够处理复杂任务如写诗、解决数学问题和生成代码，但在程序性知识方面存在局限
- Think-In-Games (TiG)：作者提出的新型框架，通过结合语言建模和强化学习，使LLMs能够在游戏环境中发展程序性理解
- Macro-level Action Space：宏观动作空间，包含40个预定义的团队目标（如推塔、打龙），用于高层次战略决策
- Relabeling Algorithm：一种用于处理稀疏或不一致动作标签的算法，通过向后传播标签并在冲突时依据优先级层次结构选择最重要动作来densify标注序列
- GRPO：Group Relative Policy Optimization，一种在线强化学习算法，用于最大化生成完成的优势同时约束策略与参考模型的差异
- KL divergence：Kullback-Leibler散度，用于衡量当前策略与参考策略之间的差异，作为正则化项防止策略过度更新
- SFT：监督微调（Supervised Fine-Tuning），用于提升模型的基础语言理解和推理能力
- BBH：Big-Bench Hard，逻辑推理任务评估基准
- TiG-QA：用于评估游戏AI模型性能的问答任务数据集
- RLHF：Reinforcement Learning from Human Feedback，基于人类反馈的强化学习，用于对齐模型输出与人类偏好