arXiv ID:
2601.03570
arXiv 提交日期: 2026-01-07
大语言模型在持续预训练中如何学习概念? / How Do Large Language Models Learn Concepts During Continual Pre-Training?
1️⃣ 一句话总结
这篇论文通过分析大语言模型内部的‘概念电路’,揭示了模型在持续学习新知识时如何获取、遗忘以及让不同概念相互影响的具体动态过程,为设计更可解释和稳健的模型训练方法提供了新视角。