以下实验旨在区分“系统看起来更会记”与“记忆确实造成可复现改进”。每个实验都应固定模型版本、任务数据、候选范围、预算和评价器。
1. 记忆是否被真实利用
**问题:**存入的经验会不会改变未来行为,还是只增加上下文?
**判别实验:**同一 agent、同一任务序列和 token 预算,对照无记忆、随机记忆、相关记忆、反事实记忆。报告记忆检索命中率、答案/行动变化、任务成功率和引用来源。若相关记忆不优于随机或反事实记忆,说明机制可能未被使用或评价器不敏感。
代表切入:Reflexion、ExpeL。近期可结合 RSI-2608-04003 PAST-Bench 与 AM-2601-22436 Experience Faithfulness,分别检查匹配经验对照和因果干预。
2. 结构化记忆是否优于平面记忆
**问题:**图链接、动态重写和层级记忆的收益来自结构,还是更多 token、检索调用或更强模型?
**判别实验:**比较等 token、等检索次数的平面文本、向量检索、静态图、动态链接/重写;对关系边做打乱和删除消融。指标同时覆盖多跳任务、单跳任务、检索延迟、写入成本和事实忠实度。
代表切入:HippoRAG Neurobiologically Inspired Long-Term Memory for Large Language Models、A-MEM Agentic Memory for LLM Agents。
3. 经验积累是否带来跨任务提升
**问题:**能力提升来自可迁移策略,还是记忆了 benchmark 任务答案和模板?
**判别实验:**按任务族/环境划分训练与 held-out;分别评估即时同分布任务、延迟任务、组合新任务和领域迁移。移除任务实体但保留抽象经验,测试策略迁移;记录每轮性能轨迹而不是只报最佳 checkpoint。
代表切入:Voyager An Open-Ended Embodied Agent with Large Language Models、Darwin Godel Machine Open Ended Evolution of Self Improving Agents。
4. 自我评价器可靠吗
**问题:**系统是否在变好,还是评价器对自身产物偏好更强?
**判别实验:**候选生成器与评估器解耦;预留隐藏测试;定期用人工或独立模型复核;同时记录盲测指标、校准误差和评价器与外部判断的分歧。对开发集持续优化时,报告 held-out 曲线和测试污染审计。
代表切入:Self-Refine Iterative Refinement with Self-Feedback、The AI Scientist Towards Fully Automated Open Ended Scientific Discovery、Darwin Godel Machine Open Ended Evolution of Self Improving Agents。
5. 记忆更新与遗忘如何治理
**问题:**错误、冲突、过期或敏感信息能否被识别、修复、删除并追踪传播?
**判别实验:**注入已知错误、矛盾、过期事实和删除请求,测量检测率、残留率、下游影响、恢复时长和来源可见度;分别测试单元删除和摘要/图派生记忆清除。
代表切入:MemoryBank Enhancing Large Language Models with Long-Term Memory、Mem0 Building Production-Ready AI Agents with Scalable Long-Term Memory。
6. RSI 是否可回滚并受控
**问题:**程序、技能或策略改变能否解释、隔离和回退?改进是否超过成本与风险预算?
**判别实验:**每轮保存差异、来源轨迹、测试集和资源用量;设置权限沙箱、独立回归套件、回滚点及停止条件;比较自动接受、人工批准和分阶段部署的长期结果。
代表切入:Darwin Godel Machine Open Ended Evolution of Self Improving Agents。
研究机会优先级
最有判别力的切口是把记忆链路做成因果实验:输入经验 → 写入/更新 → 检索 → 行为改变 → held-out 泛化。每一步保留可审计记录,再做记忆移除、替换、打乱和来源追踪。这样能定位无效是因为记错、找不到、没用上,还是改进不可迁移。