arXiv ID:
2512.03915
arXiv 提交日期: 2025-12-03
大规模AI模型中稀疏专家混合模型无辅助损失负载均衡的理论框架 / A Theoretical Framework for Auxiliary-Loss-Free Load Balancing of Sparse Mixture-of-Experts in Large-Scale AI Models
1️⃣ 一句话总结
这篇论文为一种无需额外损失函数就能平衡AI大模型中专家工作负载的新方法,建立了一个坚实的数学理论框架,并通过实验验证了其有效性,有助于更高效地利用昂贵的计算资源。