arXiv ID:
2511.20347
软自适应策略优化 / Soft Adaptive Policy Optimization
1️⃣ 一句话总结
这项研究提出了一种名为SAPO的新方法,通过智能调节学习信号来提升大语言模型训练的稳定性和效率,相比现有技术能更灵活地平衡学习效果与稳定性。
软自适应策略优化 / Soft Adaptive Policy Optimization
这项研究提出了一种名为SAPO的新方法,通过智能调节学习信号来提升大语言模型训练的稳定性和效率,相比现有技术能更灵活地平衡学习效果与稳定性。
CodeV:通过工具感知策略优化实现基于代码和图像的可靠视觉推理 / CodeV: Code with Images for Faithful Visual Reasoning via Tool-Aware Policy Optimization
这篇论文提出了一个名为CodeV的视觉智能体和一个名为TAPO的训练框架,旨在通过直接监督AI使用视觉工具(如图像裁剪)的中间过程,解决现有视觉模型虽然能给出正确答案但实际推理过程不可靠的问题,从而构建更可信的视觉推理系统。
VisPlay:从图像中自我演化的视觉语言模型 / VisPlay: Self-Evolving Vision-Language Models from Images
这篇论文提出了一个名为VisPlay的自进化强化学习框架,让视觉语言模型能够利用大量未标注图像数据,通过让模型扮演提问者和回答者两个角色相互训练,自主提升视觉推理能力,并在多个基准测试中显著提高了性能。
自参考策略优化:面向视觉-语言-动作模型 / SRPO: Self-Referential Policy Optimization for Vision-Language-Action Models
这项研究提出了一种自参考策略优化方法,通过利用模型自身成功轨迹作为参考来为失败尝试打分,无需额外演示或人工设计奖励,显著提升了机器人操作任务的训练效率和性能。
WMPO:基于世界模型的视觉-语言-动作模型策略优化 / WMPO: World Model-based Policy Optimization for Vision-Language-Action Models
这项研究提出了一种名为WMPO的新方法,让机器人能够通过内部模拟学习改进自身动作,无需在真实环境中反复试错,从而更高效地掌握复杂操作技能并具备自我纠错能力。
SofT-GRPO:通过Gumbel重参数化软思维策略优化超越离散令牌大语言模型强化学习 / SofT-GRPO: Surpassing Discrete-Token LLM Reinforcement Learning via Gumbel-Reparameterized Soft-Thinking Policy Optimization
这项研究提出了一种名为SofT-GRPO的新算法,通过引入Gumbel噪声和重参数化技术,成功实现了对软思维推理模式大语言模型的强化学习训练,使其在多项测试中超越了传统的离散令牌强化学习方法。
分步采样,分块优化:面向文本到图像生成的分块级GRPO方法 / Sample By Step, Optimize By Chunk: Chunk-Level GRPO For Text-to-Image Generation
这项研究提出了一种名为Chunk-GRPO的新方法,通过将文本生成图像的连续步骤组合成‘块’进行优化,有效提升了图像质量和与人类偏好的对齐程度,克服了传统方法在优势分配和时间动态建模上的不足。
每个问题都有其价值:基于显式人类价值的强化学习 / Every Question Has Its Own Value: Reinforcement Learning with Explicit Human Values
这项研究提出了一种新方法,通过将人类对不同问题重要程度的量化评估直接融入奖励函数,让大语言模型在训练时不仅能提升答案准确性,还能学会根据问题价值高低自动调整回答的详略程度。
Rank-GRPO:使用强化学习训练基于大语言模型的对话推荐系统 / Rank-GRPO: Training LLM-based Conversational Recommender Systems with Reinforcement Learning
这篇论文提出了一个名为ConvRec-R1的两阶段框架,通过强化学习方法有效解决了大语言模型在对话推荐任务中常出现的推荐列表质量不稳定和格式错误问题,显著提升了推荐的准确性和训练效率。
基于信息增益的策略优化:一种简单有效的多轮大语言模型智能体训练方法 / Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents
本文提出了一种名为IGPO的强化学习新方法,通过计算模型自身对正确答案概率的增量变化作为每轮交互的奖励,有效解决了多轮任务中奖励稀疏和信用分配困难的问题,显著提升了智能体的准确性和学习效率。
请先 登录 后再提交论文