研究问题

常识任务上的合理文本可能来自既有语言知识,而非真正的动作规划。PlanBench 采用自动规划领域构建多种计划生成与变化推理测试。

方法与图的作用

正文框架包含领域相关的问题生成、PDDL 与自然语言转换,以及领域无关的模型调用与结果分析。动作前置条件和效果提供验证计划的依据;词汇改写或不熟悉的表示可检查对表面名称的依赖。

对本库的用途

作为结构泛化协议的设计参照,设置实体/工具重命名、图结构保持与结构改变的不同测试。评价可执行性与约束违例,比只看生成计划与单条参考文本完全一致更合理。

局限

形式化、可验证的规划问题通常不包含真实 API 的未知输出、用户反馈和不可逆副作用。应把它作为机制测试,随后再进入状态化交互环境;论文历史 LLM 结果也不是当前模型排名。

关联阅读

任务图结构评价;图同构与结构偏置;动态状态依赖。

原论文图示

原论文 S29 Figure 1:领域实例生成、PDDL/文本转换与模型评价框架。

Figure 1:领域实例生成、PDDL/文本转换与模型评价框架。 查看原始图源。

原始来源与阅读范围

Karthik Valmeekam et al. / NeurIPS 2023 Datasets and Benchmarks · 2022-06-21。本轮范围:正文重点阅读;采集日期:2026-11-16。来源陈述与本库提出的实验设想在正文中分别说明。