基本信息

  • 中文题名:Darwin Gödel Machine:自我改进智能体的开放式演化
  • 作者:Jenny Zhang 等
  • 年份与来源:2025;arXiv(正式发表信息未逐项核验)
  • 主题:recursive-self-improvement、code-evolution、open-endedness

一句话定位

让 coding agent 修改自身代码,用 benchmark 验证候选变体,再将有潜力的变体放入 archive 持续搜索。

研究问题与动机

真正的 RSI 不只是在上下文中反思,而要改变未来行为的程序机制。本文把“提出修改—执行测试—保留变体”显式化。

方法与机制

  • 变体生成器修改 agent 的代码或策略。
  • 自动评价器在 coding benchmark 上测试候选。
  • archive 保存不同变体,后续从多个分支继续探索。
  • Memory 关系:archive 和历史轨迹是程序演化的经验载体。
  • RSI 关系:直接触及程序级递归自我改进,但评估范围仍受 benchmark 限制。

证据与结果

摘要支持在 coding agent 任务上通过自修改获得性能提升和开放式搜索。具体 checkpoint、预算、公平比较、失败变体和安全边界需正文核验。

正文重点核验

核验范围:§3(自修改循环)、§4.2–4.3(阶段评价及迁移)、§5(安全边界)。这是按重点章节核对,尚未逐项审计全文或独立复现。

  • archive 保存不同 agent 变体;从其中选择 parent,由 parent 进行自修改并提交新版本,用编码任务评价。
  • 正文的 SWE-bench 默认是 SWE-bench Verified 子集。阶段评价从 10 个任务进入额外 50 个,再对符合条件的候选扩展到 200 个任务;20.0%→50.0% 不是 500 个 Verified 全集的统一评测结果。
  • Polyglot 的搜索期 50 题结果为 14.0%→38.0%;完整 Polyglot 结果为 14.2%→30.7%,两组不能混用。
  • 正文另做在一个 benchmark 演化、到另一个 benchmark 冻结转移的检查;这比选择集本身得分更适合支持泛化。
  • 作者运行在受限沙箱并保留 archive/代码谱系;没有在真实开发环境中直接部署演化产物。

正文定位。本地保留抓取时的 HTML/文本快照以便回查。

局限与开放问题

  • 自动 benchmark 可能被过拟合或污染,无法代表广泛能力。
  • 自修改的可逆性、权限边界和停止机制必须显式记录。
  • 需要 held-out、跨环境和长期回归来判断是否是可泛化改进。

关联与拓展

核验清单

  • [x] arXiv 元数据与摘要已核验
  • [ ] 自修改搜索空间、预算和 benchmark 细节
  • [ ] 安全、回滚与跨任务泛化