arXiv ID:
2604.17535
arXiv 提交日期: 2026-04-19
OPSDL:面向长上下文语言模型的自蒸馏方法 / OPSDL: On-Policy Self-Distillation for Long-Context Language Models
1️⃣ 一句话总结
本文提出一种名为OPSDL的自蒸馏训练方法,通过让模型利用自身处理短文本的强项作为“教师”,为处理长文本时的每个预测词提供精细指导,从而显著提升大语言模型在长文本场景下的表现,且不损害原有短文本能力。