arXiv ID:
2606.09613
AGENTSERVESIM:面向多轮对话LLM智能体服务的硬件感知模拟器 / AGENTSERVESIM: A Hardware-aware Simulator for Multi-Turn LLM Agent Serving
1️⃣ 一句话总结
本论文提出了一种硬件感知的模拟器AGENTSERVESIM,能够在普通CPU上高精度模拟多轮对话LLM智能体服务的调度、缓存管理和路由策略,无需在昂贵的加速器上反复部署,从而大幅降低性能评估成本。