一句话定位
让 agent 在固定时间/API 预算内设计评价任务与 grader,再比较其排序与隐藏目标 benchmark 的一致性。
研究问题与动机
昂贵评价拖慢 RSI,而不准确的小评价器会引导错误进化。该工作研究“评价器设计”本身能否自动化。
方法与机制
researcher 选择/合成任务、实现 grader、通过 pilot 测试修订,然后冻结可执行评价器;用 score concordance 与 pairwise agreement 对齐目标。
证据与结果
摘要表明开发目标上最好的评价器未必在 sealed targets 上最好;人工抽样的公开任务仍是强基线。
当前卡片依据 2026-10-16 的 arXiv 摘要与元数据;作者结论不等于独立复现。原始摘要和版本信息保存在一手来源快照。
局限与开放问题
需避免以同一候选集设计和检验评价器;任务截断、预算耗尽和少量题目主导评分会扭曲排名。
关联与拓展
核验与阅读
- [x] 原始标题、作者、日期及摘要回查 arXiv
- [ ] 全文方法、结果表格、统计和成本协议逐项核验
- [ ] 代码可复现性与独立复现
- 一手来源