arXiv ID:
2604.00421
arXiv 提交日期: 2026-04-01
自路由:基于隐藏状态的免参数专家路由机制 / Self-Routing: Parameter-Free Expert Routing from Hidden States
1️⃣ 一句话总结
这篇论文提出了一种名为“自路由”的新方法,它无需额外的学习参数,直接利用模型内部隐藏状态的一部分信息来决定如何分配计算任务给不同的专家模块,在保持性能的同时简化了混合专家模型的结构并提升了资源利用的均衡性。