一句话定位

用信息提取、多 session 推理、时间推理、知识更新和拒答五类能力诊断长期记忆。

研究问题与动机

历史信息被存下以后,系统仍可能找错、读错,或沿用已经过期的事实。LongMemEval 将记忆能力与 indexing—retrieval—reading 三个环节对齐。

方法与机制

在可扩展长度的对话中嵌入受控问题;比较 session 切分粒度、事实增强索引 key 和时间感知查询扩展。知识更新与拒答检查的是信息有效性,而非简单相似度。

证据与结果

摘要给出五类能力和设计优化;应在正文中核对历史构造、答案判定及不同规模设置,避免把同名 benchmark 的不同版本混比。

当前卡片依据 2025-03-04 的 arXiv 摘要与元数据;作者结论不等于独立复现。原始摘要和版本信息保存在一手来源快照。

正文重点核验

核验范围:§3.2–3.3(数据构造和评价)、§5(记忆设计分解)。这是按重点章节核对,尚未逐项审计全文或独立复现。

  • 问题和 evidence statements 经人工过滤/改写;证据 session 由模型 self-chat 后人工编辑,再将证据插入无关对话构成历史。
  • 标准设置分为 LongMemEval-S(约 115k tokens/question)和 LongMemEval-M(500 sessions,约 1.5M tokens);比较时必须注明配置。
  • QA 使用 gpt-4o-2024-08-06 judge;检索端另报 Recall@k 与 NDCG@k,可区分“没找回”与“找回却没用好”。
  • 商业系统网页测试只用随机 97 个问题和 3–6 个 session 的短历史,且测于 2024 年 8 月;不能把这组结果直接泛化到如今产品或完整 S/M 配置。

正文定位。本地保留抓取时的 HTML/文本快照以便回查。

局限与开放问题

对话检索与阅读仍只是闭环的一部分;不能代替多 session 工具交互与经验迁移。

关联与拓展

核验与阅读

  • [x] 原始标题、作者、日期及摘要回查 arXiv
  • [ ] 全文方法、结果表格、统计和成本协议逐项核验
  • [ ] 代码可复现性与独立复现
  • 一手来源