基本信息

  • 中文题名:Reflexion:带语言强化学习的语言智能体
  • 作者:Noah Shinn 等
  • 年份与来源:2023;arXiv(正式发表信息未逐项核验)
  • 主题:experience-learning、reflection、episodic-memory

一句话定位

将环境反馈转成自然语言反思,写入 episodic buffer,在下一次试验中改变 agent 的决策,而无需更新模型参数。

研究问题与动机

许多 agent 任务有稀疏奖励或失败信号,直接依靠梯度更新代价高。本文探索语言形式的经验反馈能否跨试次改善行为。

方法与机制

  • 产生轨迹并接收环境反馈。
  • 由 agent 总结失败原因、策略和下一步注意事项。
  • 将反思存入 episodic memory,后续试次检索并作为策略条件。
  • RSI 关系:有“经验—评价—策略变化”的闭环,但改变的是上下文中的策略,不是基础模型参数。

证据与结果

摘要支持在多个决策、推理和代码任务上通过语言反馈提升成功率。具体任务分解、试次预算和同 checkpoint 对照需回到正文核验。

局限与开放问题

  • 反思文本可能只会重复失败叙述,未必被后续策略真正利用。
  • 试次内提升不代表跨任务泛化,容易受 benchmark 反馈格式影响。
  • 需要检查记忆条目的来源、冲突、过期和错误归因。

关联与拓展

核验清单

  • [x] arXiv 元数据与摘要已核验
  • [ ] 各任务的反馈类型和试次协议
  • [ ] 记忆利用率、失败案例和跨任务泛化