arXiv ID:
2512.22955
多样性还是精确性?深入探讨下一个词预测 / Diversity or Precision? A Deep Dive into Next Token Prediction
1️⃣ 一句话总结
这篇论文研究发现,在训练大语言模型时,与其追求预测的多样性,不如在预训练阶段就塑造一个更偏向精确性的词分布,这样能为后续的强化学习提供一个更好的探索起点,从而最终提升模型的推理能力。