arXiv ID:
2606.05742
自适应检索与重用:高效的无模型推测解码方法 / AdaPLD: Adaptive Retrieval and Reuse for Efficient Model-Free Speculative Decoding
1️⃣ 一句话总结
这篇论文提出了一种名为AdaPLD的无训练推理加速方法,通过结合语义相似度检索和假设分支生成,智能地复用已生成文本和模型状态来构建候选词序列,从而在无需额外模型的情况下将大语言模型的生成速度提升最高3.1倍。