研究问题
无状态 API、单轮提示或固定离线轨迹,无法检验真实工具使用中的状态依赖、信息不足和纠错。ToolSandbox 将用户、Agent 与执行环境放入 on-policy 交互。
环境机制
世界状态由可变数据库快照表示,轨迹通过消息总线记录。例如发送消息依赖蜂窝服务开启,而开启服务又可能依赖低电量模式关闭;错误调用会返回可用于恢复的异常。
评价机制
Milestones 描述必须达成的关键事件/状态,按拓扑顺序匹配轨迹;Minefields 描述不应发生的行为。它比单一固定调用序列更能容纳恢复和替代路径,同时也引入人工设计约束的成本。
与新任务的关系
“工具有前置条件”“失败后根据观察修复”“有中间状态评价”都已经存在。更窄的问题可以是预测哪些已有条件失效、维护受影响依赖并控制重复副作用;必须解释相对于这些现有场景增加了什么。
局限与证据
本轮阅读 v2 的环境、评价和 Limitations:里程碑/雷区标注需要深入了解工具,用户模拟仍可能犯错,确认与认证等方面也有不足。正文对其他基准的对照陈述应回到对应原文核查;本库不会直接照搬其概括性评价。
关联阅读
终态与重复可靠性;双主体控制;恢复触发与 verifier;图内错误传播修复。
原论文图示

Figure 1:状态依赖、错误恢复与里程碑评价的轨迹案例。 查看原始图源。

Figure 2:用户、Agent 与执行环境的交互结构。 查看原始图源。
原始来源与阅读范围
Jiarui Lu et al. / arXiv · 2024-08-08。本轮范围:正文重点阅读;采集日期:2026-11-16。来源陈述与本库提出的实验设想在正文中分别说明。