arXiv ID:
2601.03425
专业化的幻象:揭示混合专家模型中领域不变的“常务委员会” / The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models
1️⃣ 一句话总结
这篇论文通过分析多个模型发现,混合专家模型内部存在一个核心专家小组,它在处理各种不同领域的问题时都占据主导地位,这表明模型的实际专业化程度远低于人们通常的假设,并可能意味着当前追求专家均衡利用的训练方法反而限制了模型性能。