研究问题

工具自动化的错误可能出在任务分解、工具选择或参数预测,而单一总分难以解释。TaskBench 用 Tool Graph 组织依赖,并提供 TaskEval 分项评价。

数据构造方法

先根据工具依赖构建图,再抽样单节点、链和 DAG 等子结构,反向生成用户指令(back-instruct),结合自动检查与人工核查控制质量。正文将这套构造与若干工具使用基准比较。

对图方向的约束

“从图生成任务”“用不同图结构衡量复杂度”已有明确先行工作。若想提出新任务,应说明在线观察、状态失效、用户协作或副作用恢复为何不能由静态工具图预测涵盖。

可直接借鉴的部分

分开评价节点/工具选择、依赖结构与参数,另外用环境执行检查结果。对于多个等价正确计划,不宜只采用单一序列的字符串精确匹配。

证据边界与关联

本轮重点读 v4 的构造与 TaskEval,未重新生成或审计数据。参见 图学习规划、结构与语义的区分、在线状态依赖。

原论文图示

原论文 S32 Figure 1:任务分解、工具选择与参数预测的评价对象。

Figure 1:任务分解、工具选择与参数预测的评价对象。 查看原始图源。

原论文 S32 Figure 2:工具图采样、反向指令与数据构造流程(方法图)。

Figure 2:工具图采样、反向指令与数据构造流程(方法图)。 查看原始图源。

原始来源与阅读范围

Yongliang Shen et al. / NeurIPS 2024 · 2023-11-30。本轮范围:正文重点阅读;采集日期:2026-11-16。来源陈述与本库提出的实验设想在正文中分别说明。