研究问题

无状态 API、单轮提示或固定离线轨迹,无法检验真实工具使用中的状态依赖、信息不足和纠错。ToolSandbox 将用户、Agent 与执行环境放入 on-policy 交互。

环境机制

世界状态由可变数据库快照表示,轨迹通过消息总线记录。例如发送消息依赖蜂窝服务开启,而开启服务又可能依赖低电量模式关闭;错误调用会返回可用于恢复的异常。

评价机制

Milestones 描述必须达成的关键事件/状态,按拓扑顺序匹配轨迹;Minefields 描述不应发生的行为。它比单一固定调用序列更能容纳恢复和替代路径,同时也引入人工设计约束的成本。

与新任务的关系

“工具有前置条件”“失败后根据观察修复”“有中间状态评价”都已经存在。更窄的问题可以是预测哪些已有条件失效、维护受影响依赖并控制重复副作用;必须解释相对于这些现有场景增加了什么。

局限与证据

本轮阅读 v2 的环境、评价和 Limitations:里程碑/雷区标注需要深入了解工具,用户模拟仍可能犯错,确认与认证等方面也有不足。正文对其他基准的对照陈述应回到对应原文核查;本库不会直接照搬其概括性评价。

关联阅读

终态与重复可靠性;双主体控制;恢复触发与 verifier;图内错误传播修复。

原论文图示

原论文 S33 Figure 1:状态依赖、错误恢复与里程碑评价的轨迹案例。

Figure 1:状态依赖、错误恢复与里程碑评价的轨迹案例。 查看原始图源。

原论文 S33 Figure 2:用户、Agent 与执行环境的交互结构。

Figure 2:用户、Agent 与执行环境的交互结构。 查看原始图源。

原始来源与阅读范围

Jiarui Lu et al. / arXiv · 2024-08-08。本轮范围:正文重点阅读;采集日期:2026-11-16。来源陈述与本库提出的实验设想在正文中分别说明。