arXiv ID:
2606.23739
arXiv 提交日期: 2026-06-21
基于自动化流水线搜索的4专家异构混合专家模型系统探索 / Systematic Exploration of 4-Expert Heterogeneous Mixture-of-Experts via Automated Pipeline Search
1️⃣ 一句话总结
本文提出了一种自动流水线,在LEMUR神经网络数据集上系统搜索由4个不同专家组成的混合专家模型(MoE4),通过生成代码组合和自动训练评估,发现大部分搜索局限于AirNet架构家族,并指出ShuffleNet与MobileNetV3组合可获得最佳准确率(平均约0.632),而FractalNet和MNASNet效果较差,建议未来排除。