arXiv ID:
2601.21349
arXiv 提交日期: 2026-01-29
L2R:用于专家混合模型(MoE)的低秩与利普希茨约束路由方法 / L2R: Low-Rank and Lipschitz-Controlled Routing for Mixture-of-Experts
1️⃣ 一句话总结
本文提出了一种名为L2R的新路由框架,通过将专家分配过程转移到共享的低维空间并引入平滑的评分机制,有效解决了专家混合模型中路由不稳定和专家分工不明确的问题,从而显著提升了模型性能。