基本信息
- 中文题名:Darwin Gödel Machine:自我改进智能体的开放式演化
- 作者:Jenny Zhang 等
- 年份与来源:2025;arXiv(正式发表信息未逐项核验)
- 主题:
recursive-self-improvement、code-evolution、open-endedness
一句话定位
让 coding agent 修改自身代码,用 benchmark 验证候选变体,再将有潜力的变体放入 archive 持续搜索。
研究问题与动机
真正的 RSI 不只是在上下文中反思,而要改变未来行为的程序机制。本文把“提出修改—执行测试—保留变体”显式化。
方法与机制
- 变体生成器修改 agent 的代码或策略。
- 自动评价器在 coding benchmark 上测试候选。
- archive 保存不同变体,后续从多个分支继续探索。
- Memory 关系:archive 和历史轨迹是程序演化的经验载体。
- RSI 关系:直接触及程序级递归自我改进,但评估范围仍受 benchmark 限制。
证据与结果
摘要支持在 coding agent 任务上通过自修改获得性能提升和开放式搜索。具体 checkpoint、预算、公平比较、失败变体和安全边界需正文核验。
正文重点核验
核验范围:§3(自修改循环)、§4.2–4.3(阶段评价及迁移)、§5(安全边界)。这是按重点章节核对,尚未逐项审计全文或独立复现。
- archive 保存不同 agent 变体;从其中选择 parent,由 parent 进行自修改并提交新版本,用编码任务评价。
- 正文的 SWE-bench 默认是 SWE-bench Verified 子集。阶段评价从 10 个任务进入额外 50 个,再对符合条件的候选扩展到 200 个任务;
20.0%→50.0%不是 500 个 Verified 全集的统一评测结果。 - Polyglot 的搜索期 50 题结果为
14.0%→38.0%;完整 Polyglot 结果为14.2%→30.7%,两组不能混用。 - 正文另做在一个 benchmark 演化、到另一个 benchmark 冻结转移的检查;这比选择集本身得分更适合支持泛化。
- 作者运行在受限沙箱并保留 archive/代码谱系;没有在真实开发环境中直接部署演化产物。
正文定位。本地保留抓取时的 HTML/文本快照以便回查。
局限与开放问题
- 自动 benchmark 可能被过拟合或污染,无法代表广泛能力。
- 自修改的可逆性、权限边界和停止机制必须显式记录。
- 需要 held-out、跨环境和长期回归来判断是否是可泛化改进。
关联与拓展
- Voyager An Open Ended Embodied Agent with Large Language Models
- The AI Scientist Towards Fully Automated Open Ended Scientific Discovery
- 开放问题与判别实验:用独立评价器、隐藏任务和版本回滚约束检验 RSI。
核验清单
- [x] arXiv 元数据与摘要已核验
- [ ] 自修改搜索空间、预算和 benchmark 细节
- [ ] 安全、回滚与跨任务泛化