arXiv ID:
2605.29727
arXiv 提交日期: 2026-05-28
BASTION:基于树形块扩散草稿的预算感知推测解码框架 / Bastion: Budget-Aware Speculative Decoding with Tree-structured Block Diffusion Drafting
1️⃣ 一句话总结
本文提出一种名为BASTION的新型推测解码技术,它通过动态构建树状扩散草稿、并智能权衡生成质量和硬件计算预算,在无需重新训练的条件下,将大语言模型的文本生成速度提升最高6.6倍,同时保持输出质量不变。