arXiv ID:
2602.20574
arXiv 提交日期: 2026-02-24
GATES:基于特权上下文与共识门控的自蒸馏方法 / GATES: Self-Distillation under Privileged Context with Consensus Gating
1️⃣ 一句话总结
这篇论文提出了一种名为GATES的自蒸馏方法,它通过让模型在训练时扮演能看到参考文档的‘导师’角色,并利用多个导师答案之间的共识作为可靠的学习信号,来指导看不到文档的‘学生’模型学习完整的推理过程,从而在没有外部监督的情况下,显著提升了模型在文档缺失场景下的问答准确率。