arXiv ID:
2601.17087
arXiv 提交日期: 2026-01-23
迷失在模拟中:LLM模拟用户在智能体评估中并非人类用户的可靠代理 / Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations
1️⃣ 一句话总结
这篇论文通过跨国用户研究发现,用大语言模型模拟用户来评估AI助手性能并不可靠,它会错误估计AI的真实能力,并且对不同语言和文化背景的人群存在系统性偏差,可能导致评估结果失真。