arXiv ID:
2601.05110
arXiv 提交日期: 2026-01-08
GlimpRouter:通过窥视一个思维标记实现高效的协同推理 / GlimpRouter: Efficient Collaborative Inference by Glimpsing One Token of Thoughts
1️⃣ 一句话总结
这篇论文提出了一种名为GlimpRouter的新方法,它通过让轻量级模型仅生成每个推理步骤的第一个词,并根据该词的‘不确定性’来判断是否需要动用大型模型来完成整个步骤,从而在保证准确率的同时,大幅降低了大型推理模型的运算成本和延迟。