基本信息

  • 中文题名:Self-Refine:基于自反馈的迭代改进
  • 作者:Aman Madaan 等
  • 年份与来源:2023;arXiv(正式发表信息未逐项核验)
  • 主题:self-feedback、test-time-improvement、evaluation

一句话定位

同一模型反复生成输出、产生反馈并重写输出,展示 test-time refinement 的通用范式。

研究问题与动机

许多生成任务的一次输出存在可发现错误。本文测试模型能否用自身反馈迭代改进,而无需额外训练或外部记忆。

方法与机制

  • 初始生成器产生答案。
  • 反馈器指出缺陷并给出修改方向。
  • 精炼器基于答案和反馈再次生成,循环若干轮。
  • RSI 关系:属于短时输出级改进;没有跨实例持久记忆,也没有自我代码或参数演化。

证据与结果

摘要报告在多种生成任务上的平均提升。具体任务、迭代轮数、停止准则和自反馈可靠性需正文核验。

局限与开放问题

  • 自反馈可能与真实质量相关性不足。
  • 多轮提升可能来自额外 test-time compute,不等于递归能力增长。
  • 应比较外部评价器、重复采样和持久经验库。

关联与拓展

核验清单

  • [x] arXiv 元数据与摘要已核验
  • [ ] 各任务增益和计算成本
  • [ ] 自反馈与外部反馈对照