arXiv ID:
2510.13161
arXiv 提交日期: 2025-10-15
镜像推测解码:打破大语言模型推理中的串行瓶颈 / Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference
1️⃣ 一句话总结
本文提出了一种名为镜像推测解码的新算法,通过并行异构计算和多令牌推测流技术,在大幅降低大语言模型推理延迟的同时保持高准确率,实现了比现有方法更优的加速效果。