arXiv ID:
2605.12705
arXiv 提交日期: 2026-05-12
早期数据暴露提升模型对后续微调的鲁棒性 / Early Data Exposure Improves Robustness to Subsequent Fine-Tuning
1️⃣ 一句话总结
本文研究发现,在语言模型训练中,将目标能力数据提前混入预训练阶段(早期暴露),比仅在后期训练时引入同样数据,能更有效地防止模型在后续微调过程中遗忘已学能力,从而在保留上游性能与适应下游任务之间取得更好的平衡。