arXiv ID:
2604.18493
太正确反而学不到:对饱和推理数据的强化学习 / Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data
1️⃣ 一句话总结
本文发现,当大型语言模型在已有高分数据集上做强化学习时,由于缺少错误样本,一个常用的算法(GRPO)会失去学习信号并导致模型输出变得单一。为解决这个问题,作者提出了一种名为CUTS的采样策略,在不改动模型参数的前提下,强制从高置信度但多样化的候选答案中均匀选择,再结合多类型训练数据,使模型在更难的新题目上成绩提升高达15%以上。