arXiv ID:
2605.28207
arXiv 提交日期: 2026-05-27
将混合专家模型剪枝与蒸馏为密集语言模型 / Pruning and Distilling Mixture-of-Experts into Dense Language Models
1️⃣ 一句话总结
本文提出了一种将训练好的混合专家(MoE)模型系统性地转换为标准密集模型的方法,通过专家评分、选择、分组、拼接成密集前馈网络,再结合知识蒸馏来提升性能;实验表明,该方法在同等参数量下比传统的密集模型剪枝平均准确率高6.3个百分点,且训练速度快1.6倍。