arXiv ID:
2601.19897
自蒸馏实现持续学习 / Self-Distillation Enables Continual Learning
1️⃣ 一句话总结
这篇论文提出了一种名为‘自蒸馏微调’的新方法,让大模型能够像学生一样,通过模仿自己过去的优秀表现来学习新技能,从而在不断学习新知识的同时,有效防止忘记旧本领。
自蒸馏实现持续学习 / Self-Distillation Enables Continual Learning
这篇论文提出了一种名为‘自蒸馏微调’的新方法,让大模型能够像学生一样,通过模仿自己过去的优秀表现来学习新技能,从而在不断学习新知识的同时,有效防止忘记旧本领。
TwinBrainVLA:通过非对称混合变换器释放通用视觉语言模型在具身任务中的潜力 / TwinBrainVLA: Unleashing the Potential of Generalist VLMs for Embodied Tasks via Asymmetric Mixture-of-Transformers
这篇论文提出了一种名为TwinBrainVLA的新模型架构,它通过一个‘左脑’保持通用视觉理解能力,同时用一个可训练的‘右脑’专门学习机器人精细动作,从而解决了机器人控制任务中模型既要懂世界又要会动手的冲突,在保持高水平语义理解的同时实现了更精确的操控。
CLARE:通过自主适配器路由与扩展实现视觉-语言-动作模型的持续学习 / CLARE: Continual Learning for Vision-Language-Action Models via Autonomous Adapter Routing and Expansion
这篇论文提出了一种名为CLARE的新方法,让机器人能够在不断学习新技能的同时牢牢记住旧本领,而且不需要存储旧数据或依赖任务标签,从而更灵活、高效地适应真实世界的长期运行。
熵自适应微调:解决置信冲突以缓解遗忘 / Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
这篇论文提出了一种名为‘熵自适应微调’的新方法,通过识别并抑制模型自身高度自信但与外部监督相冲突的‘置信冲突’数据,在保持模型下游任务性能的同时,有效缓解了传统监督微调导致的灾难性遗忘问题。
面向大语言模型持续适应的记忆库压缩方法 / Memory Bank Compression for Continual Adaptation of Large Language Models
本文提出了一种名为MBC的新方法,它通过一种创新的压缩和优化策略,极大地缩小了外部记忆库的规模,从而让大语言模型在持续学习新知识时,既能高效更新、防止遗忘旧知识,又不会因数据不断涌入而导致存储开销无限增长。
通过源语言屏蔽更新缓解大语言模型目标语言适应中的灾难性遗忘 / Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates
这篇论文提出了一种名为‘源语言屏蔽更新’的新方法,它通过智能地识别并保护大语言模型中与源语言能力相关的关键参数,在仅使用无标注目标语言数据进行模型适应时,有效防止了模型忘记原有知识,同时保持了在新语言上的优秀表现。
缓解统一多模态模型持续学习中的模态内与模态间遗忘 / Mitigating Intra- and Inter-modal Forgetting in Continual Learning of Unified Multimodal Models
这篇论文提出了一种名为MoDE的轻量级架构,通过将不同模态的学习过程解耦,有效解决了统一多模态模型在持续学习新任务时,不仅会在单一模态内部遗忘旧知识,还会在不同模态之间相互干扰导致遗忘的关键难题。
RECALL:通过分层模型合并实现表示对齐的灾难性遗忘缓解 / RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging
这项研究提出了一种名为RECALL的新方法,它通过分析大语言模型内部表示来智能合并不同任务的模型,从而在无需历史数据的情况下有效防止模型在学习新任务时遗忘旧知识,并在多个自然语言处理任务中表现出优越的性能。
如何教大型多模态模型新技能 / How to Teach Large Multimodal Models New Skills
这篇论文发现,在教大型多模态模型新技能时,看似遗忘的旧能力其实可以部分恢复,并通过限制模型特定层的更新,提出了两种简单有效的训练方法,使模型既能学会新技能又不会大幅丢失原有能力。
请先 登录 后再提交论文