arXiv ID:
2607.04206
arXiv 提交日期: 2026-07-05
Sangam:利用AR堆栈高效服务扩散语言模型 / Sangam: Efficiently Serving Diffusion LLMs with the AR Stack
1️⃣ 一句话总结
本文提出Sangam系统,通过新型的缺陷令牌预算调度器和混合服务策略,有效解决了扩散语言模型在服务过程中因双向注意力机制导致的缓存与资源分配问题,从而在保证无阻塞调度的同时显著降低了不同工作负载下的平均延迟。