arXiv ID:
2606.12243
arXiv 提交日期: 2026-06-10
基于模型内部路由的投机解码验证方法 / VIA-SD: Verification via Intra-Model Routing for Speculative Decoding
1️⃣ 一句话总结
本文提出一种名为VIA-SD的多层验证框架,通过在大型语言模型内部提取一个轻量子模型来处理中等置信度的候选词,取代传统的“全接受或全重算”二值策略,有效降低了投机解码中的拒绝率并实现了10-20%的速度提升。