SkillFactory:用于学习认知行为的自蒸馏方法 / SkillFactory: Self-Distillation For Learning Cognitive Behaviors
1️⃣ 一句话总结
这篇论文提出了一种名为SkillFactory的自蒸馏方法,它通过重新组织模型自身生成的样本进行监督微调,使模型在强化学习前初步掌握验证、回溯等认知技能,从而在后续强化学习中更稳健地运用这些技能并提升在困难任务上的泛化能力。
请先 登录 后再提交论文
SkillFactory:用于学习认知行为的自蒸馏方法 / SkillFactory: Self-Distillation For Learning Cognitive Behaviors
这篇论文提出了一种名为SkillFactory的自蒸馏方法,它通过重新组织模型自身生成的样本进行监督微调,使模型在强化学习前初步掌握验证、回溯等认知技能,从而在后续强化学习中更稳健地运用这些技能并提升在困难任务上的泛化能力。
Skywork-R1V4:通过图像与深度研究的交替思考迈向具身多模态智能 / Skywork-R1V4: Toward Agentic Multimodal Intelligence through Interleaved Thinking with Images and DeepResearch
这篇论文提出了一个名为Skywork-R1V4的新型多模态智能体模型,它通过将图像处理与网络搜索深度结合并交替推理,仅用少量高质量数据训练就实现了超越现有顶尖模型的复杂任务解决能力。
OpenMMReasoner:通过开放通用方法推动多模态推理前沿 / OpenMMReasoner: Pushing the Frontiers for Multimodal Reasoning with an Open and General Recipe
这项研究提出了一个完全透明的两阶段训练方法,通过精心构建的数据集和强化学习显著提升了多模态推理能力,在多个基准测试中比现有领先模型性能提升11.6%。
GUI-AIMA:通过上下文锚点对齐内在多模态注意力以实现图形用户界面定位 / GUI-AIMA: Aligning Intrinsic Multimodal Attention with a Context Anchor for GUI Grounding
这篇论文提出了一种无需直接生成坐标的高效图形用户界面定位方法,通过巧妙利用多模态大模型的内部注意力机制,仅需少量数据训练即可在多个基准测试中达到领先的准确率。
LightReasoner:小语言模型能否教会大语言模型推理? / LightReasoner: Can Small Language Models Teach Large Language Models Reasoning?
这项研究提出了一种名为LightReasoner的新方法,通过对比大小语言模型在推理过程中的行为差异,让小模型帮助大模型识别并强化其关键推理优势,从而在显著减少计算资源和数据需求的同时,大幅提升大模型的数学推理能力。
SearchInstruct:通过基于检索的指令数据集创建增强领域适应性 / SearchInstruct: Enhancing Domain Adaptation via Retrieval-Based Instruction Dataset Creation
这篇论文提出了一种名为SearchInstruct的创新方法,它利用少量人工问题和大型语言模型自动扩展问题,并结合检索相关领域资源来生成高质量指令数据集,从而有效提升大语言模型在特定领域的适应性和性能。
迈向大语言模型后训练的统一视角 / Towards a Unified View of Large Language Model Post-Training
这篇论文提出了一个统一的理论框架,将大语言模型后训练的两种主流方法(基于人类示范的监督学习和基于模型生成数据的强化学习)视为同一优化过程的不同实例,并在此基础上开发了一种能动态选择训练信号的混合后训练算法,在多个数学推理基准测试中取得了优于现有方法的性能。