arXiv ID:
2605.27358
arXiv 提交日期: 2026-05-26
MobileMoE:面向移动端的混合专家模型扩展 / MobileMoE: Scaling On-Device Mixture of Experts
1️⃣ 一句话总结
本文提出了MobileMoE,一种在手机上高效运行的轻量级混合专家模型,通过研究发现并运用了一种兼顾内存和计算效率的最佳架构(适度稀疏、细粒度与共享专家),使得参数量仅0.3-0.9亿的模型在性能上超越或媲美现有主流大模型,同时在手机端推理速度提升2-4倍。