arXiv ID:
2607.01763
arXiv 提交日期: 2026-07-02
更密集未必更好:在线自蒸馏在持续后训练中的局限性 / Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training
1️⃣ 一句话总结
这篇论文通过实验发现,在线自蒸馏(SDPO)虽然能在稳定场景下加速模型对特定领域的适应,但在持续后训练中会导致更严重的知识遗忘和能力崩溃,而更密集的蒸馏反而会加剧模型参数和输出的偏移,因此不建议将其作为持续学习的默认稳定方法。