🤖 系统
11-30 17:44
📄 论文总结
AdaSPEC:面向高效推测解码器的选择性知识蒸馏 / AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders
1️⃣ 一句话总结
本文提出了一种名为AdaSPEC的新方法,通过选择性过滤难以学习的词汇来优化知识蒸馏过程,使得小模型在推测解码中能更有效地模仿大模型,从而显著提高推理速度而不损失生成质量。