arXiv ID:
2601.19897
自蒸馏实现持续学习 / Self-Distillation Enables Continual Learning
1️⃣ 一句话总结
这篇论文提出了一种名为‘自蒸馏微调’的新方法,让大模型能够像学生一样,通过模仿自己过去的优秀表现来学习新技能,从而在不断学习新知识的同时,有效防止忘记旧本领。
自蒸馏实现持续学习 / Self-Distillation Enables Continual Learning
这篇论文提出了一种名为‘自蒸馏微调’的新方法,让大模型能够像学生一样,通过模仿自己过去的优秀表现来学习新技能,从而在不断学习新知识的同时,有效防止忘记旧本领。
最小负载专家并行:一种针对不平衡专家混合模型的负载均衡方法 / Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts
本文提出了一种名为‘最小负载专家并行’的新算法,它通过动态地将过载设备上的计算任务和参数转移到空闲设备上,有效解决了专家混合模型在推理时因任务分配不均导致的设备性能瓶颈问题,从而大幅提升了模型运行速度和内存使用效率。
VIOLA:通过最少标注实现视频上下文学习 / VIOLA: Towards Video In-Context Learning with Minimal Annotations
这篇论文提出了一个名为VIOLA的高效框架,它通过结合少量专家标注和大量未标注视频数据,让多模态大语言模型能够在标注成本极低的情况下,快速且鲁棒地适应新的视频任务领域。
扩散中的扩散:在半自回归扩散模型中重获全局连贯性 / Diffusion In Diffusion: Reclaiming Global Coherence in Semi-Autoregressive Diffusion
这篇论文提出了一种名为‘扩散中的扩散’的两阶段文本生成框架,它先通过小块扩散快速生成草稿,再利用全局双向扩散进行精细优化,从而在保持生成效率的同时,显著提升了文本的全局连贯性,并大幅缩小了与主流自回归模型之间的性能差距。
终于超越了随机基线:一种用于3D生物医学成像中主动学习的简单有效解决方案 / Finally Outshining the Random Baseline: A Simple and Effective Solution for Active Learning in 3D Biomedical Imaging
这篇论文提出了一种名为ClaSP PE的简单而有效的主动学习方法,它通过结合类别分层查询和动态噪声策略,首次在3D生物医学图像分割任务中稳定且显著地超越了随机采样基线,从而能大幅降低昂贵的人工标注成本。
超越余弦相似度:在一个包含1500万节点的土耳其语同义词图中驯服语义漂移和反义词入侵 / Beyond Cosine Similarity: Taming Semantic Drift and Antonym Intrusion in a 15-Million Node Turkish Synonym Graph
这篇论文提出了一种新方法,通过构建大规模标注数据集、设计专门的语义关系判别器以及创新的软到硬聚类算法,成功解决了词向量模型难以区分同义词和反义词的难题,并为一个包含1500万词汇的土耳其语系统生成了290万个高精度的语义集群。
差分隐私随机梯度下降中隐私与效用权衡的根本局限性 / Fundamental Limitations of Favorable Privacy-Utility Guarantees for DP-SGD
这篇论文通过理论分析证明,在最坏情况的攻击者模型下,广泛使用的差分隐私随机梯度下降算法(DP-SGD)存在一个根本性的瓶颈:它无法在保证强隐私保护的同时,获得高模型准确率,因为要达到有意义的隐私水平就必须添加足够大的噪声,而这会严重损害模型的实用性。
几何稳定性:表征中缺失的维度 / Geometric Stability: The Missing Axis of Representations
这篇论文提出了‘几何稳定性’这一新概念,用于衡量表征结构在受到扰动时的鲁棒性,并证明它与传统的相似性度量无关,为评估和改进机器学习及生物系统的表征提供了新的视角和实用工具。
熵哨兵:基于解码熵迹对STEM领域大语言模型进行持续准确性监控 / Entropy Sentinel: Continuous LLM Accuracy Monitoring from Decoding Entropy Traces in STEM
这篇论文提出了一种名为‘熵哨兵’的新方法,通过分析大语言模型生成答案时的不确定性(即输出熵),就能低成本、大规模地监控模型在不同科学领域的表现好坏,并指导我们优先收集哪些数据来提升模型性能。
超越硬掩码:扩散语言模型的渐进式词元演化 / Beyond Hard Masks: Progressive Token Evolution for Diffusion Language Models
这篇论文提出了一种名为EvoToken-DLM的新方法,它用可演化的软词元分布替代了传统扩散语言模型中的硬二值掩码,从而支持可修正的解码过程,并在多个基准测试中取得了更优的性能。
请先 登录 后再提交论文