基本信息
- 中文题名:Self-Refine:基于自反馈的迭代改进
- 作者:Aman Madaan 等
- 年份与来源:2023;arXiv(正式发表信息未逐项核验)
- 主题:
self-feedback、test-time-improvement、evaluation
一句话定位
同一模型反复生成输出、产生反馈并重写输出,展示 test-time refinement 的通用范式。
研究问题与动机
许多生成任务的一次输出存在可发现错误。本文测试模型能否用自身反馈迭代改进,而无需额外训练或外部记忆。
方法与机制
- 初始生成器产生答案。
- 反馈器指出缺陷并给出修改方向。
- 精炼器基于答案和反馈再次生成,循环若干轮。
- RSI 关系:属于短时输出级改进;没有跨实例持久记忆,也没有自我代码或参数演化。
证据与结果
摘要报告在多种生成任务上的平均提升。具体任务、迭代轮数、停止准则和自反馈可靠性需正文核验。
局限与开放问题
- 自反馈可能与真实质量相关性不足。
- 多轮提升可能来自额外 test-time compute,不等于递归能力增长。
- 应比较外部评价器、重复采样和持久经验库。
关联与拓展
- Reflexion Language Agents with Verbal Reinforcement Learning
- The AI Scientist Towards Fully Automated Open Ended Scientific Discovery
- 开放问题与判别实验:把单样本精炼和跨样本能力改进分开计量。
核验清单
- [x] arXiv 元数据与摘要已核验
- [ ] 各任务增益和计算成本
- [ ] 自反馈与外部反馈对照