为什么不能只把用户目标映射成一段动作序列?
先看任务瓶颈如何变化,再查看不同来源在其中承担的证据角色。
文本目标到动作
生成结果没有执行反馈,错误会在后续步骤累积
ReAct、SayCan 将推理与行动或工具可行性结合
代表来源
论文、综述、博客和社区材料按证据角色并列显示推理与行动交错、环境反馈进入控制循环
Yao et al. / arXiv · 2022-10-06Do As I Can, Not As I Say: Grounding Language in Robotic Affordances语言计划与工具/技能可行性绑定
Ahn et al. / arXiv · 2022-04-04LLM-Planner: Few-Shot Grounded Planning for Embodied Agents with Large Language Models子任务规划、动作执行和环境 grounding
Song et al. / arXiv · 2022-12-08引入交互环境
工具调用有前置条件、副作用和隐藏状态
AgentBench、ScienceWorld、WebArena、AppWorld 提供可执行环境
代表来源
论文、综述、博客和社区材料按证据角色并列显示多环境交互评测、动作和任务成功
Liu et al. / arXiv · 2023-08-07ScienceWorld: Is your Agent Smarter than a 5th Grader?可交互科学实验、状态变化和新情境推理
Wang et al. / arXiv · 2022-03-14WebArena: A Realistic Web Environment for Building Autonomous Agents可复现网页环境、长链任务和程序化检查
Zhou et al. / arXiv · 2023-07-25AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents多应用 API、状态副作用和可执行 evaluator
Harsh Trivedi et al. / ACL 2024 · 2024-07-26以执行结果为终点
最终成功掩盖中间错误和返工成本
InterCode 与 AppWorld 提供执行反馈和状态检查
代表来源
论文、综述、博客和社区材料按证据角色并列显示执行反馈、代码状态和交互式修复
Yang et al. / arXiv · 2023-06-26AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents多应用 API、状态副作用和可执行 evaluator
Harsh Trivedi et al. / ACL 2024 · 2024-07-26τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains用户、工具、领域政策与终态一致性;重复试验可靠性
Shunyu Yao et al. / arXiv · 2024-06-17状态依赖与共同控制
无状态 API 或被动用户遗漏真实前置条件
ToolSandbox 提供嵌套状态依赖;τ²-bench 让用户也能改变环境
代表来源
论文、综述、博客和社区材料按证据角色并列显示隐式状态依赖、交互恢复、Milestones/Minefields 与中间轨迹评价
Jiarui Lu et al. / arXiv · 2024-08-08τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment双主体共同改变环境;组合任务生成与沟通/推理分离
Victor Barres et al. / arXiv · 2025-06-09“创建会议并通知成员”不是一次文本生成;权限、时间冲突和 API 返回值会改变下一步可行动作。
固定模型、工具和总调用预算,比较无状态动作链、带状态反馈的动作链和显式计划图;记录每一步状态差异与副作用。
任务一旦有可观察状态与动作后果,图才可能成为决策接口,而不是展示层。
图应该表达哪些关系,才能支持并行、阻塞和重排?
先看任务瓶颈如何变化,再查看不同来源在其中承担的证据角色。
线性分解复杂目标
动作顺序固定,无法表示独立分支和汇合条件
思维图、图学习规划与 TaskBench 分别组织推理或任务依赖
代表来源
论文、综述、博客和社区材料按证据角色并列显示将思维单元组织为可合并、可回溯的图
Besta et al. / arXiv · 2023-08-18Can Graph Learning Improve Planning in LLM-based Agents?子任务依赖图和图学习规划
Wu et al. / arXiv · 2024-05-29TaskBench: Benchmarking Large Language Models for Task Automation工具图采样、back-instruct 与任务分解/选择/参数的分项评价
Yongliang Shen et al. / NeurIPS 2024 · 2023-11-30绑定工具可行性
语义上合理的动作可能在当前环境不可执行
SayCan 将语言计划与 affordance/工具价值结合
代表来源
论文、综述、博客和社区材料按证据角色并列显示表达状态效果
只记录子任务依赖无法判断动作是否已经完成或失效
ToolSandbox 显式构造状态依赖;本库尝试将其与计划关系对齐
代表来源
论文、综述、博客和社区材料按证据角色并列显示隐式状态依赖、交互恢复、Milestones/Minefields 与中间轨迹评价
Jiarui Lu et al. / arXiv · 2024-08-08AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents多应用 API、状态副作用和可执行 evaluator
Harsh Trivedi et al. / ACL 2024 · 2024-07-26ScienceWorld: Is your Agent Smarter than a 5th Grader?可交互科学实验、状态变化和新情境推理
Wang et al. / arXiv · 2022-03-14依赖图不等于安全并行
独立数据流仍可能共享资源或隐含决策
LLMCompiler/GAP 调度依赖;工程文章强调状态冲突和异步更新
代表来源
论文、综述、博客和社区材料按证据角色并列显示依赖 DAG、流式规划、任务派发与并行工具执行
Sehoon Kim et al. / ICML 2024 · 2023-12-07GAP: Graph-Based Agent Planning with Parallel Tool Use and Reinforcement Learning依赖感知子任务图、并行/串行工具执行和强化学习
Jiaqi Wu et al. / arXiv · 2025-10-29Don’t Build Multi-Agents完整上下文共享、动作隐含决策与跨分支冲突
Walden Yan / Cognition · 2025-06-12Agents Are Going Async后台子任务、事件通知、修改和取消;等待语义
Sydney Runkle, Thushanth Bengre / LangChain · 2026-11-05“先创建账户再授权再调用 API”是依赖链;“读取说明”和“准备参数”可以并行,但授权失败后只有受影响分支需要重排。
保持节点文本和上下文长度不变,随机打乱边、删除关键前置条件,再比较动作选择与任务完成率。
计划图与知识图谱问答的区别在于,边必须能约束下一动作并在执行后被验证。
工具反馈出现后,Agent 应该重做全部计划还是只修改局部子图?
先看任务瓶颈如何变化,再查看不同来源在其中承担的证据角色。
工具返回错误
失败信息常被当成自然语言提示,无法定位受影响步骤
ReAct、InterCode 和可编排 Agent 框架将执行反馈送回控制循环
代表来源
论文、综述、博客和社区材料按证据角色并列显示推理与行动交错、环境反馈进入控制循环
Yao et al. / arXiv · 2022-10-06InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback执行反馈、代码状态和交互式修复
Yang et al. / arXiv · 2023-06-26LangGraph Graph API:状态、节点、边与消息传递状态图、节点、边、检查点和控制流接口
LangChain · 持续更新局部状态改变
重做完整计划浪费调用,局部修复又可能遗漏依赖
计划图修复工作尝试定位错误传播核心;本库进一步把修复对象限制为当前 episode 的受影响子图
代表来源
论文、综述、博客和社区材料按证据角色并列显示子任务依赖图和图学习规划
Wu et al. / arXiv · 2024-05-29LangGraph Graph API:状态、节点、边与消息传递状态图、节点、边、检查点和控制流接口
LangChain · 持续更新Repair the Core, Not the Symptom: Planning-Graph Repair for Long-Horizon Agents从失败轨迹定位并修复导致错误传播的紧凑计划图核心
Xinyuan Song, Zekun Cai / arXiv · 2026-07-02失败触发重新分解
固定计划粒度与执行器能力不匹配
ADaPT 按需递归分解;MAST 区分设计、沟通和验证失败
代表来源
论文、综述、博客和社区材料按证据角色并列显示执行失败后递归分解;TextCraft 组合任务与分解深度
Archiki Prasad et al. / Findings of NAACL 2024 · 2023-11-08Why Do Multi-Agent LLM Systems Fail?MAST 失败分类与多 Agent 轨迹数据
Mert Cemri et al. / arXiv · 2025-03-17ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities隐式状态依赖、交互恢复、Milestones/Minefields 与中间轨迹评价
Jiarui Lu et al. / arXiv · 2024-08-08恢复、重试与终止
反复尝试会放大副作用,检查点也不保证语义正确
保存可诊断错误并控制重试;检查真实状态与计划是否一致
代表来源
论文、综述、博客和社区材料按证据角色并列显示显式执行状态、控制流、错误事件与小型任务单元
Dex Horthy / HumanLayer community · 持续更新Context Engineering for AI Agents: Lessons from Building Manus稳定前缀、动作可用性控制、可恢复压缩与保留失败观察
Yichao “Peak” Ji / Manus · 2025-07-18LangGraph Persistence: Checkpointers and Stores当前任务检查点、恢复与跨线程存储的职责区分
LangChain documentation · 持续更新The “think” tool: Enabling Claude to stop and think in complex tool use situations工具结果后的约束检查;方法建议随模型能力演进
Anthropic Engineering · 2025-03-20权限错误只应阻塞需要该权限的分支;已经验证成功的独立步骤不应被无故重做。
注入已知错误类型并标注受影响子图,比较全量重规划、局部修复和 oracle 修复的恢复步数、重复副作用与最终成功率。
这条主线把图从“规划表示”推进为“执行控制状态”,也是本库最主要的研究增量候选。
怎样证明 Agent 学到的是依赖结构,而不是记住动作字符串?
先看任务瓶颈如何变化,再查看不同来源在其中承担的证据角色。
同模板测试
相同实体、工具名和顺序会制造虚假的高分
WebArena、AppWorld 和 ScienceWorld 提供不同任务族与环境约束
代表来源
论文、综述、博客和社区材料按证据角色并列显示可交互科学实验、状态变化和新情境推理
Wang et al. / arXiv · 2022-03-14WebArena: A Realistic Web Environment for Building Autonomous Agents可复现网页环境、长链任务和程序化检查
Zhou et al. / arXiv · 2023-07-25AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents多应用 API、状态副作用和可执行 evaluator
Harsh Trivedi et al. / ACL 2024 · 2024-07-26结构保持、表面变化
字符串替换可能仍泄漏模板
使用新工具名、新实体和新参数保持依赖图不变
代表来源
论文、综述、博客和社区材料按证据角色并列显示子任务依赖图和图学习规划
Wu et al. / arXiv · 2024-05-29AgentBench: Evaluating LLMs as Agents多环境交互评测、动作和任务成功
Liu et al. / arXiv · 2023-08-07InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback执行反馈、代码状态和交互式修复
Yang et al. / arXiv · 2023-06-26Bridging Tool Dependencies and Domain Knowledge: A Graph-Based Framework for In-Context Planning工具 schema 依赖图与领域程序知识图融合,用于计划生成
Shengjie Liu, Li Dong, Zhenyu Zhang / arXiv · 2025-10-28GAP: Graph-Based Agent Planning with Parallel Tool Use and Reinforcement Learning依赖感知子任务图、并行/串行工具执行和强化学习
Jiaqi Wu et al. / arXiv · 2025-10-29跨环境迁移
不同环境的工具语义和状态空间不一致
将子目标依赖、前置条件和修复模式作为迁移单位
代表来源
论文、综述、博客和社区材料按证据角色并列显示多环境交互评测、动作和任务成功
Liu et al. / arXiv · 2023-08-07ScienceWorld: Is your Agent Smarter than a 5th Grader?可交互科学实验、状态变化和新情境推理
Wang et al. / arXiv · 2022-03-14WorkArena: How Capable Are Web Agents at Solving Common Knowledge Work Tasks?企业网页知识工作与 BrowserGym 观测/动作设计
Alexandre Drouin et al. / arXiv · 2024-03-12OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments跨桌面/网页应用工作流、初态配置与执行式评价
Tianbao Xie et al. / arXiv · 2024-04-11分离表面与结构
更换名字或增加复杂度不一定检验结构理解
PlanBench 的形式验证、TaskBench 的图构造和 τ²-bench 的组合生成提供参照
代表来源
论文、综述、博客和社区材料按证据角色并列显示形式化动作、计划验证、变化推理与词汇表面变化
Karthik Valmeekam et al. / NeurIPS 2023 Datasets and Benchmarks · 2022-06-21TaskBench: Benchmarking Large Language Models for Task Automation工具图采样、back-instruct 与任务分解/选择/参数的分项评价
Yongliang Shen et al. / NeurIPS 2024 · 2023-11-30τ²-bench: Evaluating Conversational Agents in a Dual-Control Environment双主体共同改变环境;组合任务生成与沟通/推理分离
Victor Barres et al. / arXiv · 2025-06-09训练环境用“日历 API”,测试环境换成“项目排期 API”;如果依赖关系仍保留,Agent 应能迁移先后约束而非只复现 API 名称。
按任务族、实体、工具集合和图结构分层,报告 OOD 成功率、动作成本、恢复率和图编辑 F1。
结构泛化把图规划与普通 Agent prompting 区分开,但不能直接推出长期记忆或 RSI 能力。
怎样让不同图规划方法在同一任务定义下公平比较?
先看任务瓶颈如何变化,再查看不同来源在其中承担的证据角色。
只报最终成功
看不到动作返工、状态破坏和调用成本
AgentBench、WebArena、AppWorld 提供程序化或环境级指标
代表来源
论文、综述、博客和社区材料按证据角色并列显示多环境交互评测、动作和任务成功
Liu et al. / arXiv · 2023-08-07WebArena: A Realistic Web Environment for Building Autonomous Agents可复现网页环境、长链任务和程序化检查
Zhou et al. / arXiv · 2023-07-25AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents多应用 API、状态副作用和可执行 evaluator
Harsh Trivedi et al. / ACL 2024 · 2024-07-26只比较模型
环境版本、工具权限和预算差异会改变结果
固定环境快照、工具接口、随机种子和交互预算
代表来源
论文、综述、博客和社区材料按证据角色并列显示多应用 API、状态副作用和可执行 evaluator
Harsh Trivedi et al. / ACL 2024 · 2024-07-26InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback执行反馈、代码状态和交互式修复
Yang et al. / arXiv · 2023-06-26AppWorld benchmark and simulator任务、模拟器、工具 API 和 evaluator 复现线索
Stony Brook NLP · 持续更新只展示最佳轨迹
选择性案例无法说明失败边界
用 MAST 分析失败,结合里程碑与重复试验可靠性
代表来源
论文、综述、博客和社区材料按证据角色并列显示MAST 失败分类与多 Agent 轨迹数据
Mert Cemri et al. / arXiv · 2025-03-17ToolSandbox: A Stateful, Conversational, Interactive Evaluation Benchmark for LLM Tool Use Capabilities隐式状态依赖、交互恢复、Milestones/Minefields 与中间轨迹评价
Jiarui Lu et al. / arXiv · 2024-08-08τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains用户、工具、领域政策与终态一致性;重复试验可靠性
Shunyu Yao et al. / arXiv · 2024-06-17忽略接口与维护开销
图收益可能来自额外信息、推理或更好的工具说明
固定工具契约并计入图维护、上下文与世界模型准备成本
代表来源
论文、综述、博客和社区材料按证据角色并列显示工具契约、命名、有效信息返回与真实任务评价
Ken Aizawa / Anthropic Engineering · 2025-09-11Effective context engineering for AI agents当前任务上下文选择、结果压缩、按需读取与子任务隔离
Anthropic Applied AI · 2025-09-29Context Engineering in ManusManus 访谈笔记;压缩、外置、隔离及规划器方案变化
Lance Martin · 2025-10-15GATS: Graph-Augmented Tree Search with Layered World Models for Efficient Agent Planning符号匹配、日志统计与未知动作预测组成的世界模型搜索
Maureese Williams, Dymitr Nowicki / arXiv · 2026-07-09一个方法最终成功但调用次数翻倍,不能与低成本一次完成视为等价。
建立包含成功、失败、部分完成和副作用的固定轨迹集,统一报告任务成功、下一动作准确率、计划边一致性、修复率、调用数和 token 成本。
可复现评测是新任务成立的前提;如果图编辑无法独立测量,研究问题需要收窄。