研究问题
Agent 能力需要在多步交互中量化。AgentBench 汇集八种环境,评测 LLM 的推理、决策和指令遵循,提供多环境的参照。
评价对象
论文的对象是不同模型在交互任务中的表现及典型失败原因;摘要强调长期推理、决策与指令遵循的不足。它不是专门的计划图数据集,也不默认给出修复子图真值。
对本库的用途
适合在机制初步成立后做跨环境检查。最小研究应先选一个状态可检查、失败可重放的环境,避免同时搭建八个环境而无法解释图的作用。
证据边界
本轮核对最新 arXiv 页面和摘要。论文发布时的模型差距不能写成当前所有模型的能力排名;不同环境的分数也不能在未说明权重和任务集合时直接混合。
关联阅读
AppWorld;ToolSandbox;从失败分类寻找机制解释。
原始来源与阅读范围
Liu et al. / arXiv · 2023-08-07。本轮范围:元数据与摘要核验;采集日期:2026-11-16。来源陈述与本库提出的实验设想在正文中分别说明。