一句话定位
约束候选编辑和选择,减少 harness 演化对开发 benchmark 的过拟合。
研究问题与动机
开发集显著提升可能在 OOD 任务上消失。RRSI 将泛化与复杂度控制引入系统级自我改进循环。
方法与机制
提案端退火编辑预算并探索未覆盖轨迹;选择端 critic 筛除 benchmark 专属提案,pruner 清除过小、昂贵或失效变化。
证据与结果
摘要报告多个开发及 OOD benchmark 和 token 使用比较。需逐项核对 split、backbone、选择规则和成本,避免只看最好一轮。
当前卡片依据 2026-10-04 的 arXiv 摘要与元数据;作者结论不等于独立复现。原始摘要和版本信息保存在一手来源快照。
正文重点核验
核验范围:§3(提案/接受约束)、§4.1–4.3(划分与对比)、Appendix A(局限)。这是按重点章节核对,尚未逐项审计全文或独立复现。
- 演化端约束包括编辑数量退火、历史轨迹探索;接受端 critic 排查任务特化,pruner 剔除昂贵、失效或收益不足的编辑。
- 三个 evolve suite 分别是 Terminal-Bench 2.1、Harvey LAB、EngDesign;不同 held-out suite 冻结 harness 评测。Harvey LAB 固定 120 evolve / 40 ID held-out;EngDesign 的 61 题全部用于演化,没有另外留 ID 测试。
- Table 1 在相同种子 harness、policy、evolve split 和候选预算下比较多个演化方法;Table 2 拆分 proposal 与 acceptance 约束。
- 关键观察是某些取消正则的变体开发集得分更高、OOD 反而下降。研究问题是反复利用有限评价反馈带来的过拟合,不能只报 evolve-set 最佳点。
正文定位。本地保留抓取时的 HTML/文本快照以便回查。
局限与开放问题
critic 仍可能漏掉隐式特化;跨模型、长期演化和隐藏任务上的退化需要单独测量。
关联与拓展
核验与阅读
- [x] 原始标题、作者、日期及摘要回查 arXiv
- [ ] 全文方法、结果表格、统计和成本协议逐项核验
- [ ] 代码可复现性与独立复现
- 一手来源