arXiv ID:
2607.01710
arXiv 提交日期: 2026-07-02
基于通用专家覆盖率的稀疏混合专家语言模型剪枝方法 / Generic Expert Coverage for Pruning SparseMixture-of-Experts Language Models
1️⃣ 一句话总结
本文提出了一种名为“通用TB覆盖”的专家剪枝方法,无需下游任务数据,仅用通用文本语料库评估每个专家的效用,并确保从不同语料中保留高效用专家,从而在削减模型规模的同时,显著提升了混合专家模型在多个零样本任务上的准确性和语言建模性能,尤其适用于大比例剪枝场景。