📄 论文总结
基于流环境的强化学习方法扩展大型语言模型 / Extending Reinforcement Learning for LLMs with Flow Environment
1️⃣ 一句话总结
本文提出RLFR方法，通过从大型语言模型的潜在空间提取流奖励来扩展强化学习在语言推理任务中的应用，解决了传统二元验证方法忽略有价值探索的问题。
2️⃣ 论文创新点
1. 流奖励机制
- 创新点：从模型潜在空间提取流奖励信号，而非传统的对数空间信号
- 区别/改进：通过量化策略潜在在流场中的速度偏差作为奖励信号
- 意义：解决了二元验证忽略有价值探索的问题，提高了奖励信号的表达能力
2. 潜在空间奖励利用
- 创新点：利用模型潜在空间构建流场环境
- 区别/改进：压缩离策略专家数据构成奖励信号参考
- 意义：发掘了潜在空间在奖励信号收集中未充分探索的价值
3. 时间步去偏技术
- 创新点：使用更大时间步进行速度预测以减少噪声
- 区别/改进：相比等权重平均，时间步去偏带来1.7%的平均分数提升
- 意义：提高了流奖励的可靠性和稳定性
3️⃣ 主要结果与价值
结果亮点
- 在语言和多模态推理基准测试中均表现出优于基线的性能
- 在Qwen2.5-Math-7B上平均提升1.5%，在Llama3.1-8B上提升5.3%
- 展示了流场作为奖励信号收集环境的有效性
实际价值
- 为强化学习奖励设计提供了新的信号来源
- 增强了RL算法的灵活性和表达能力
- 在复杂推理任务中带来稳定的性能提升
4️⃣ 术语表
- RLFR：基于流环境的强化学习方法，通过潜在空间的流场构建和速度偏差量化来提供奖励信号
- RLVR：具有二元可验证奖励的强化学习，用于提升大型语言模型的推理能力
- GRPO：组相对策略优化，使用平均奖励作为基线的强化学习目标函数
- Flow Matching：流匹配方法，学习连续时间速度场，将样本从简单先验分布传输到目标数据分布
- R_CFM：条件流匹配奖励，用于计算去偏时间步影响的流奖励
- velocity deviation：速度偏差，评估当前样本在参考流场中的分布偏离程度
- Pass@1：评估指标，表示在第一次尝试中通过测试的比例