arXiv ID:
2604.27747
arXiv 提交日期: 2026-04-30
面向位置感知的生成式列表推荐模型推理加速方法 / Position-Aware Drafting for Inference Acceleration in LLM-Based Generative List-Wise Recommendation
1️⃣ 一句话总结
为了加速大语言模型在推荐系统生成推荐列表时的推理过程,本文提出了一种轻量级的“位置感知草稿”模块,通过区分每个推荐商品内部不同位置的标记(token)以及草稿生成步骤的深度,让小型草稿模型能够更精准地预测候选标记,从而提升并行验证效率,在保持推荐质量的同时实现了最高3.1倍的推理速度提升。