arXiv ID:
2607.05272
arXiv 提交日期: 2026-07-06
基于策略梯度的自适应推理批处理 / Adaptive Inference Batching using Policy Gradients
1️⃣ 一句话总结
本文研究了在推理服务系统中,利用强化学习(REINFORCE和PPO算法)学习自适应批处理和路由策略的效果,发现其在单GPU场景下优势有限,但在多GPU异构路由场景中,通过学习工作负载分离策略,能有效消除队头阻塞,相比最强启发式基线(最短队列)提升48%性能,吞吐量提升60%,延迟降低25%。