基本信息
- 中文题名:AI Scientist:迈向完全自动化的开放式科学发现
- 作者:Chris Lu 等
- 年份与来源:2024;arXiv(正式发表信息未逐项核验)
- 主题:
ai-scientist、open-endedness、evaluation
一句话定位
把想法生成、代码实现、实验运行、论文写作和模拟评审串成科研 agent 工作流。
研究问题与动机
科研任务包含多个相互依赖的步骤。一个自动闭环可以把实验反馈转成下一轮想法和实现,但也可能把错误评价器和重复想法持续放大。
方法与机制
- 生成研究想法并筛选。
- 编写和执行实验代码,保存结果与论文草稿。
- 使用模拟评审器反馈质量,再决定是否迭代。
- RSI 关系:具有工作流级反馈循环;尚不能据此断言长期能力或科学新颖性递归提升。
证据与结果
摘要支持端到端生成科研产物,并以模拟评审和实验结果作为反馈。新颖性、正确性、重复运行稳定性和人工评价需正文及项目材料核验。
局限与开放问题
- 评价器与生成器同源时,错误会形成闭环自证。
- 论文数量或评分提升不等于真实科学发现。
- 需要版本化数据、外部专家、负结果和复现实验。
关联与拓展
- Self-Refine Iterative Refinement with Self-Feedback
- Darwin Godel Machine Open Ended Evolution of Self Improving Agents
- 开放问题与判别实验:将产物质量、评价器校准和跨主题迁移分开评估。
核验清单
- [x] arXiv 元数据与摘要已核验
- [ ] 端到端工作流和实验协议
- [ ] 新颖性、复现和人工评价