arXiv ID:
2602.11217
魔法相关性:理解从预训练到监督微调的知识迁移 / The Magic Correlations: Understanding Knowledge Transfer from Pretraining to Supervised Fine-Tuning
1️⃣ 一句话总结
这篇论文通过系统研究发现,大语言模型从预训练到监督微调的知识迁移效果并不稳定,其可靠程度会因任务类型、评估基准和模型规模的不同而产生巨大差异,为如何高效选择和利用数据来训练模型提供了实用指导。