arXiv ID:
2602.04118
用13个参数学习推理 / Learning to Reason in 13 Parameters
1️⃣ 一句话总结
这篇论文提出了一种名为TinyLoRA的新方法,它通过强化学习,仅用少至13个可训练参数就能让大型语言模型学会复杂的数学推理,性能接近使用成千上万参数的传统方法。
用13个参数学习推理 / Learning to Reason in 13 Parameters
这篇论文提出了一种名为TinyLoRA的新方法,它通过强化学习,仅用少至13个可训练参数就能让大型语言模型学会复杂的数学推理,性能接近使用成千上万参数的传统方法。
路由彩票:面向异构数据的自适应子网络 / Routing the Lottery: Adaptive Subnetworks for Heterogeneous Data
这篇论文提出了一种名为‘路由彩票’的自适应剪枝框架,它能在大型神经网络中为不同类型的数据自动发现并分配专门的、参数更少的子网络,从而在保持高性能的同时,让模型结构更好地匹配现实世界数据的多样性。
仅有知识还不够:注入强化学习技能以实现持续适应 / Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation
这篇论文提出了一种名为PaST的新方法,它能够将大语言模型从强化学习中获得的‘知识运用技能’模块化地提取出来,然后像‘打补丁’一样快速注入到经过简单微调的模型中,从而让模型不仅能记住新知识,还能更有效地利用这些知识来回答问题或完成任务。
VIBE:基于视觉指令的编辑器 / VIBE: Visual Instruction Based Editor
这篇论文提出了一个名为VIBE的高效图像编辑系统,它通过结合一个较小的视觉语言模型和一个轻量级扩散模型,在保持高质量编辑效果的同时,大幅降低了计算成本和内存需求,使其能在普通硬件上快速运行。
Falcon-H1R:利用混合模型推动推理前沿,实现高效测试时扩展 / Falcon-H1R: Pushing the Reasoning Frontiers with a Hybrid Model for Efficient Test-Time Scaling
这篇论文提出了一个名为Falcon-H1R的7B参数小型语言模型,它通过精心设计的数据、训练策略和混合并行架构,证明了小模型也能在复杂推理任务上达到甚至超越大模型的性能,同时实现更快的推理速度和更低的计算成本。
VersatileFFN:通过自适应宽深复用实现大语言模型的参数高效化 / VersatileFFN: Achieving Parameter Efficiency in LLMs via Adaptive Wide-and-Deep Reuse
这篇论文提出了一种名为VersatileFFN的新型前馈网络,它通过在同一套固定参数内,自适应地复用参数来拓宽模型宽度或加深处理深度,从而在不增加内存开销的前提下,有效提升了大语言模型处理不同难度任务的能力。
离散扩散语言模型的缩放行为研究 / Scaling Behavior of Discrete Diffusion Language Models
这篇论文研究发现,作为自回归模型替代方案的离散扩散语言模型,其性能随规模扩展的规律(缩放定律)与噪声类型密切相关,其中均匀扩散模型在数据有限时更具优势,并通过训练百亿参数模型验证了这一规律。
QKAN-LSTM:量子启发的Kolmogorov-Arnold长短期记忆网络 / QKAN-LSTM: Quantum-inspired Kolmogorov-Arnold Long Short-term Memory
这篇论文提出了一种名为QKAN-LSTM的新型循环神经网络,它通过引入量子启发的激活模块,在保持经典硬件可运行的同时,大幅提升了模型对复杂时间序列的预测能力,并减少了近80%的训练参数。
Fairy2i:从实数大语言模型训练出参数全为{±1, ±i}的复数大语言模型 / Fairy2i: Training Complex LLMs from Real LLMs with All Parameters in ${\pm 1, \pm i}$
这篇论文提出了一种名为Fairy2i的新方法,它能将已有的高性能实数大语言模型无损地转换成复数模型,并进一步把模型参数压缩到极低的2比特精度,从而在保持模型性能接近原版的同时,大幅降低内存和计算需求,让大模型能在普通硬件上高效运行。
每个激活都增强:将通用推理器扩展至万亿参数开放语言基础 / Every Activation Boosted: Scaling General Reasoner to 1 Trillion Open Language Foundation
这篇论文提出了Ling 2.0系列模型,通过创新的稀疏激活和专家混合架构,在保持高计算效率的同时,将语言模型的推理能力成功扩展到了万亿参数规模。
请先 登录 后再提交论文