arXiv ID:
2607.04733
arXiv 提交日期: 2026-07-06
局部保持监督微调:基于多模态熵结构的优化方法 / LP-SFT: Local-Preserving Supervised Fine-Tuning via Multimodal Entropy Structure
1️⃣ 一句话总结
本文提出一种名为LP-SFT的新型监督微调方法,通过保留预训练语言模型中自然存在的多模态熵结构(即模型对多种可能续写的概率分布模式),在适配下游任务时有效防止模型原有能力的退化,并在保持采样多样性的同时提升准确率。