arXiv ID:
2607.06411
arXiv 提交日期: 2026-07-07
RuBench:一个基于仓库级别的智能体编码基准测试,包含原生俄语任务规范 / RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications
1️⃣ 一句话总结
该论文提出了一个名为RuBench的基准测试,包含25个来自真实开源仓库的修复任务,所有任务均以俄语自然语言描述(非翻译),用于评估代码智能体在接近真实客户请求场景下的表现,并发现当前最佳智能体配置能解决78.7%的任务,同时揭示了产品级智能体(而非模型本身)才是实际被评估的单位。