arXiv ID:
2601.19897
自蒸馏实现持续学习 / Self-Distillation Enables Continual Learning
1️⃣ 一句话总结
这篇论文提出了一种名为‘自蒸馏微调’的新方法,让大模型能够像学生一样,通过模仿自己过去的优秀表现来学习新技能,从而在不断学习新知识的同时,有效防止忘记旧本领。
自蒸馏实现持续学习 / Self-Distillation Enables Continual Learning
这篇论文提出了一种名为‘自蒸馏微调’的新方法,让大模型能够像学生一样,通过模仿自己过去的优秀表现来学习新技能,从而在不断学习新知识的同时,有效防止忘记旧本领。
仅有知识还不够:注入强化学习技能以实现持续适应 / Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation
这篇论文提出了一种名为PaST的新方法,它能够将大语言模型从强化学习中获得的‘知识运用技能’模块化地提取出来,然后像‘打补丁’一样快速注入到经过简单微调的模型中,从而让模型不仅能记住新知识,还能更有效地利用这些知识来回答问题或完成任务。
CLARE:通过自主适配器路由与扩展实现视觉-语言-动作模型的持续学习 / CLARE: Continual Learning for Vision-Language-Action Models via Autonomous Adapter Routing and Expansion
这篇论文提出了一种名为CLARE的新方法,让机器人能够在不断学习新技能的同时牢牢记住旧本领,而且不需要存储旧数据或依赖任务标签,从而更灵活、高效地适应真实世界的长期运行。
AI海马体:我们距离人类记忆还有多远? / The AI Hippocampus: How Far are We From Human Memory?
这篇综述论文系统地梳理了大型语言模型和多模态大模型中的记忆机制,将其分为内隐、外显和智能体记忆三大类,并探讨了这些机制如何提升模型的推理、适应和交互能力,以及当前面临的主要挑战。
智能体的首个工作日:在工作场景中评估学习、探索与调度能力 / The Agent's First Day: Benchmarking Learning, Exploration, and Scheduling in the Workplace Scenarios
这篇论文提出了一个名为M3E的动态评估环境,用于测试AI智能体在模拟真实工作场景中处理动态任务调度、主动探索和持续学习的能力,发现当前先进模型在这些方面仍存在明显不足。
演化式程序化技能网络 / Evolving Programmatic Skill Networks
这篇论文提出了一种名为‘程序化技能网络’的新框架,让智能体能够像搭积木一样,通过可执行的符号程序来不断学习、优化和组合新技能,并在开放环境中展现出强大的适应和泛化能力。
面向大语言模型持续适应的记忆库压缩方法 / Memory Bank Compression for Continual Adaptation of Large Language Models
本文提出了一种名为MBC的新方法,它通过一种创新的压缩和优化策略,极大地缩小了外部记忆库的规模,从而让大语言模型在持续学习新知识时,既能高效更新、防止遗忘旧知识,又不会因数据不断涌入而导致存储开销无限增长。
嵌套学习:深度学习架构的幻觉 / Nested Learning: The Illusion of Deep Learning Architectures
这篇论文提出了一种名为‘嵌套学习’的新学习范式,它将机器学习模型视为一组嵌套的、多层次的优化问题,并基于此设计了能够自我修改和持续学习的新模型,为解决现有模型在持续学习和上下文理解方面的根本挑战提供了新思路。
面向长上下文的端到端测试时训练 / End-to-End Test-Time Training for Long Context
这篇论文提出了一种新方法,将长文本建模视为一个持续学习问题,通过让模型在测试时根据当前文本内容自我学习,并利用训练时的元学习进行优化,从而在保持推理速度的同时,实现了与标准全注意力模型相当的性能扩展能力。
缓解统一多模态模型持续学习中的模态内与模态间遗忘 / Mitigating Intra- and Inter-modal Forgetting in Continual Learning of Unified Multimodal Models
这篇论文提出了一种名为MoDE的轻量级架构,通过将不同模态的学习过程解耦,有效解决了统一多模态模型在持续学习新任务时,不仅会在单一模态内部遗忘旧知识,还会在不同模态之间相互干扰导致遗忘的关键难题。
请先 登录 后再提交论文