基本信息
- 中文题名:ExpeL:大语言模型智能体是经验学习者
- 作者:Andrew Zhao 等
- 年份与来源:2023;arXiv(正式发表信息未逐项核验)
- 主题:
experience-learning、memory-retrieval、in-context-adaptation
一句话定位
从过往任务轨迹中提取自然语言经验,在推理时检索相关经验,尝试用非参数方式实现跨任务适应。
研究问题与动机
如果每个任务都依赖相同的基础模型,失败经验无法积累。ExpeL 研究将轨迹中的策略性知识抽象为记忆,是否能改善后续任务。
方法与机制
- 从成功和失败轨迹生成经验条目。
- 依据当前任务检索相关经验。
- 将经验作为额外上下文指导规划和回答。
- RSI 关系:有经验驱动的行为改进,但没有模型权重或程序的递归修改。
证据与结果
摘要声称在多类任务上优于无经验基线。具体经验抽取提示、检索策略、数据划分和迁移结果需要正文核验。
局限与开放问题
- 经验可能只是任务答案的泄漏或提示词模板,而非可迁移规则。
- 经验冲突、时间衰减和错误归因没有由摘要充分说明。
- 必须用 held-out 任务和经验消融测试真正的泛化。
关联与拓展
- Reflexion Language Agents with Verbal Reinforcement Learning
- Voyager An Open Ended Embodied Agent with Large Language Models
- 开放问题与判别实验:区分经验内容、检索命中和上下文预算的作用。
核验清单
- [x] arXiv 元数据与摘要已核验
- [ ] 经验抽取与检索实现
- [ ] 跨任务和反事实经验消融