arXiv ID:
2605.06665
arXiv 提交日期: 2026-05-07
UniPool:用于混合专家模型的全局共享专家池 / UniPool: A Globally Shared Expert Pool for Mixture-of-Experts
1️⃣ 一句话总结
该论文提出了一种名为UniPool的新型混合专家模型架构,它用一个全局共享的专家池取代了传统模型中每层独立的专家集合,使得不同层可以共用专家资源,从而在减少参数量的同时提升了模型性能,并打破了专家数量必须随层数线性增长的局限。