arXiv ID:
2603.24518
arXiv 提交日期: 2026-03-25
TuneShift-KD:面向微调模型的知识蒸馏与迁移 / TuneShift-KD: Knowledge Distillation and Transfer for Fine-tuned Models
1️⃣ 一句话总结
这篇论文提出了一种名为TuneShift-KD的新方法,它能在不依赖原始专业数据的情况下,通过对比微调模型和基础模型的困惑度差异,自动识别并蒸馏出专业领域的知识,然后利用少量代表性提示生成合成数据集,从而将知识高效迁移到新的预训练模型中。