🤖 系统
11-30 17:53
📄 论文总结
TiDAR:扩散思考,自回归对话 / TiDAR: Think in Diffusion, Talk in Autoregression
1️⃣ 一句话总结
这篇论文提出了一种名为TiDAR的新型语言模型架构,它通过在单个前向传播中结合扩散模型的并行生成能力和自回归模型的高质量输出,首次实现了与自回归模型相当的质量,同时将生成速度提升了4.71到5.91倍。
请先 登录 后再提交论文
TiDAR:扩散思考,自回归对话 / TiDAR: Think in Diffusion, Talk in Autoregression
这篇论文提出了一种名为TiDAR的新型语言模型架构,它通过在单个前向传播中结合扩散模型的并行生成能力和自回归模型的高质量输出,首次实现了与自回归模型相当的质量,同时将生成速度提升了4.71到5.91倍。
AdaSPEC:面向高效推测解码器的选择性知识蒸馏 / AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders
本文提出了一种名为AdaSPEC的新方法,通过选择性过滤难以学习的词汇来优化知识蒸馏过程,使得小模型在推测解码中能更有效地模仿大模型,从而显著提高推理速度而不损失生成质量。
镜像推测解码:打破大语言模型推理中的串行瓶颈 / Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference
本文提出了一种名为镜像推测解码的新算法,通过并行异构计算和多令牌推测流技术,在大幅降低大语言模型推理延迟的同时保持高准确率,实现了比现有方法更优的加速效果。