基本信息
- 中文题名:Reflexion:带语言强化学习的语言智能体
- 作者:Noah Shinn 等
- 年份与来源:2023;arXiv(正式发表信息未逐项核验)
- 主题:
experience-learning、reflection、episodic-memory
一句话定位
将环境反馈转成自然语言反思,写入 episodic buffer,在下一次试验中改变 agent 的决策,而无需更新模型参数。
研究问题与动机
许多 agent 任务有稀疏奖励或失败信号,直接依靠梯度更新代价高。本文探索语言形式的经验反馈能否跨试次改善行为。
方法与机制
- 产生轨迹并接收环境反馈。
- 由 agent 总结失败原因、策略和下一步注意事项。
- 将反思存入 episodic memory,后续试次检索并作为策略条件。
- RSI 关系:有“经验—评价—策略变化”的闭环,但改变的是上下文中的策略,不是基础模型参数。
证据与结果
摘要支持在多个决策、推理和代码任务上通过语言反馈提升成功率。具体任务分解、试次预算和同 checkpoint 对照需回到正文核验。
局限与开放问题
- 反思文本可能只会重复失败叙述,未必被后续策略真正利用。
- 试次内提升不代表跨任务泛化,容易受 benchmark 反馈格式影响。
- 需要检查记忆条目的来源、冲突、过期和错误归因。
关联与拓展
- ExpeL LLM Agents Are Experiential Learners
- Self-Refine Iterative Refinement with Self-Feedback
- 开放问题与判别实验:固定模型和预算,分离反思内容质量与上下文长度收益。
核验清单
- [x] arXiv 元数据与摘要已核验
- [ ] 各任务的反馈类型和试次协议
- [ ] 记忆利用率、失败案例和跨任务泛化