arXiv ID:
2604.25110
知识蒸馏必须考虑其损失了什么 / Knowledge Distillation Must Account for What It Loses
1️⃣ 一句话总结
本论文指出,在知识蒸馏过程中,不仅要关注学生模型在主要任务上的表现,还必须系统评估其是否保留了教师模型的可靠性关键能力(如不确定性判断、边界行为、过程可靠性等),并提出通过“蒸馏损失报告”机制,让蒸馏过程变得可问责、可评估。