📄 论文总结
LightReasoner:小语言模型能否教会大语言模型推理? / LightReasoner: Can Small Language Models Teach Large Language Models Reasoning?
1️⃣ 一句话总结
这项研究提出了一种名为LightReasoner的新方法,通过对比大小语言模型在推理过程中的行为差异,让小模型帮助大模型识别并强化其关键推理优势,从而在显著减少计算资源和数据需求的同时,大幅提升大模型的数学推理能力。
请先 登录 后再提交论文
LightReasoner:小语言模型能否教会大语言模型推理? / LightReasoner: Can Small Language Models Teach Large Language Models Reasoning?
这项研究提出了一种名为LightReasoner的新方法,通过对比大小语言模型在推理过程中的行为差异,让小模型帮助大模型识别并强化其关键推理优势,从而在显著减少计算资源和数据需求的同时,大幅提升大模型的数学推理能力。
当思考遇见事实:长上下文语言模型的可复用推理 / When Thoughts Meet Facts: Reusable Reasoning for Long-Context LMs
这篇论文提出了一种名为‘思维模板’的方法,通过复用历史推理过程来指导长上下文语言模型更有效地整合多来源证据,从而提升复杂推理任务的性能,并可将优化后的模板迁移到小型模型中。
ScaleDiff:为高级数学推理扩展难题规模 / ScaleDiff: Scaling Difficult Problems for Advanced Mathematical Reasoning
这篇论文提出了一种名为ScaleDiff的高效方法,通过自动筛选现有数据集中的难题并训练专门的生成器来大规模创造高难度数学问题,从而显著提升大型推理模型在复杂数学任务上的表现,同时大幅降低了计算成本和人工干预需求。
逆向工程推理用于开放式生成 / Reverse-Engineered Reasoning for Open-Ended Generation
这篇论文提出了一种名为REER的新方法,通过从已知的优秀解决方案逆向推导出潜在的逐步推理过程,有效解决了开放式创意生成中的深度推理难题,并基于此构建了一个大规模数据集,训练出的模型在多项任务中表现优于主流开源模型,甚至可与顶尖商业模型媲美。
基于边缘数据输运蒸馏的少步流三维生成方法 / Few-step Flow for 3D Generation via Marginal-Data Transport Distillation
这项研究提出了一种名为MDT-dist的新方法,通过优化速度匹配和速度蒸馏目标,将复杂的三维生成模型的采样步骤从25步大幅减少到1-2步,在保持高质量生成效果的同时实现了6.5倍到9倍的加速。