arXiv ID:
2605.28008
arXiv 提交日期: 2026-05-27
压缩思想:压缩推理数据在大型语言模型后训练中的作用时机与方式 / Zipping the Thought: When and How Compressed Reasoning Data Works in LLM Post-Training
1️⃣ 一句话总结
本文研究了在大型语言模型后训练中,使用压缩推理数据(即缩短思考链)的效果,发现不同类型的压缩方式对监督微调和强化学习的影响各异,并在不同数据规模下表现出不同的泛化能力与记忆倾向。