记忆反而不如直接RAG？UIUC、清华等团队提出 Memory Tax

给智能体加上记忆，通常意味着让它先整理历史：提炼用户偏好、压缩对话、建立关联，再在需要时检索。这个过程听起来合理，但也可能出现一种尴尬：原始对话里明明有答案，经过记忆加工，智能体反而答错了。

来自伊利诺伊大学厄巴纳—香槟分校、清华大学等机构的研究者，比较了11种记忆系统在3个基准、3种基础模型下的表现。在主表的99组结果中，90组低于两轮朴素RAG。Memory Tax 关注的正是这笔容易被忽略的账：记忆加工增加了哪些能力，又损失了哪些本来能够完成的任务？

论文：Memory Tax: Dissecting the Net Value of Agent Memory

作者：Xuan He、Sining Zhoubian、Ruozhen Yang、Yuhao Wen、Zhineng Wang、Yuyang Hu、Ke Yang、Yuyu Zhang、Ping Nie、Jiawei Han、ChengXiang Zhai

单位：伊利诺伊大学厄巴纳—香槟分校、清华大学、中国人民大学、Verdent.ai、滑铁卢大学

论文链接：https://arxiv.org/abs/2610.34073v1

项目主页：https://hexuan21.github.io/MemoryTax/

开源仓库：https://github.com/hexuan21/MemoryTax

评测结果：https://huggingface.co/datasets/hexuan21/MemoryTax-Res

背景：先问记忆比直接查历史多做了什么

长对话和长期任务需要调用过去的信息，但保存与使用历史可以有不同路径。一条路径是保留原始历史，分块后检索相关证据，再生成答案；另一条路径是在检索前加入提取、改写、合并、分层或建图等操作，形成专门的记忆表示。

这些加工能够把分散的信息组织起来，也引入了新的判断：什么值得保存，哪些细节可以省略，几条记录该不该合并。如果判断错了，证据可能在回答问题之前就已经丢失。

Memory Tax 因此把原始历史上的朴素RAG设为参照。这个基线同样能够读取过去的信息，它省去的是额外的复杂记忆加工。研究要衡量的是加工的增量价值，而不只是系统有没有利用历史。

实验：11种系统，九成对比结果低于两轮RAG

主实验涵盖平面存储、分层或生命周期管理、图结构以及训练式记忆策略四类设计，包括A-Mem、MemOS、SimpleMem、MemoryOS、LightMem、OpenViking、HippoRAG2、MAGMA、PlugMem、Mem-T和Memory-R2。

研究在LongMemEval-s、PersonaMem-v2、MINT-Eval上测试，覆盖直接回忆、个性化理解和多目标干扰等需求。基础模型为Qwen3.5-4B、Qwen3.6-27B和GPT-5.6 Luna低推理设置，并统一使用Qwen3-Embedding-0.6B。回答质量通过大语言模型评判器计分。

不同系统的记忆粒度差异很大，同样检索十条，可能对应十句事实，也可能是十份长摘要。作者因此用“检索范围”校准配置：统计从检索到回答过程中，模型看到的记忆单元词元占可检索存储的比例，再调整各系统的top-k，尽量避免检索覆盖过少造成失衡。这种对齐也不等于绝对上下文长度、计算量或货币成本完全相同。

下面选取主表中Qwen3.6-27B的部分结果，数值为评判准确率。

记忆有时有效，例如MemOS在PersonaMem-v2、PlugMem在MINT-Eval上超过这组RAG基线。但把11种系统、3个基准和3种模型合起来，99组比较中有90组落后。（这个统计描述的是选定配置与任务集合中的结果，不代表九成实际使用场景必然失效。）

概念：记忆税是本来答对的问题，被加工丢了

只看总准确率，很难理解记忆具体改变了什么。作者进一步逐题比较，把结果分为双方都答对、双方都答错、只有记忆系统答对，以及只有RAG答对。

“记忆收益”对应只有记忆系统答对的问题；“记忆税”对应RAG能答对、记忆系统却答错的问题。两者按相同问题总数归一化后，其差额就是相对于RAG的准确率净变化。

这里有一个重要口径：主表的90/99统计以两轮RAG为参照，而逐题拆分收益与税时使用单轮RAG。“记忆税”本身是回答质量的损失指标，词元、调用次数与运行时间另行统计。

同一系统可能救回一些难题，同时丢掉更多原本简单的问题。净收益为负时，仍然可能存在有价值的能力；关键是这些收益能否覆盖新增损失。

原因：信息丢失、证据难找，以及换模型后的不稳定

第一层损失发生在记忆构建阶段。压缩与重写可能删去条件、时间、实体关系，或者根本没有为某项事实建立记忆单元。为了把这种损失与检索失败分开，作者直接向问答模型提供已定位的正确记忆单元，再观察剩余错误；同时抽样追踪原始事实，标注信息是否完整保留。

即使绕开检索，部分系统仍然存在明显损失。这说明，有些问题在记忆生成时就已经形成，继续优化检索也找不回被删除的证据。

第二层问题是信息保存了，却更难找到。研究反复检索记忆库，记录找齐问题所需证据的轮次。一些系统首轮能恢复证据的问题比例低于原始历史RAG。案例呈现出三种常见情况：证据被拆散到多个单元，被无关内容稀释，或改写后与用户问题的表达不再容易匹配。

第三层是跨模型鲁棒性。长期系统可能用一个模型构建记忆，升级后换另一个模型读取。实验分别更换构建模型和问答模型，发现很多记忆系统比原始历史RAG更敏感。记忆的可复用性因此还取决于加工方式是否依赖特定模型。

成本：词元账单要从构建阶段开始算

记忆系统可能压缩在线输入，却在后台消耗大量构建与维护计算。论文将大语言模型输入输出词元覆盖到记忆构建、维护、检索和回答全过程，并同时记录调用次数、存储量及等效单并发运行时间。

附录给出一个直观例子：在LongMemEval-s的100题子集、GPT-5.6 Luna低推理设置下，SimpleMem构建消耗约3850万词元，推理消耗142万，合计约3992万；两轮RAG的大语言模型词元开销为65万，前者约为后者的61倍，但准确率分别为84%和90%。

这是特定实验中的大语言模型词元比值，不是通用账单倍数，也没有把嵌入等非大语言模型开销换算进去。线上查询次数增加后，构建开销如何摊薄，还需要结合实际使用频率判断。仅看压缩后的存储大小或单次回答开销，难以判断整体经济性。

改进：给加工后的记忆留一条回到原始证据的路

研究没有再提出一套更重的记忆架构，而是测试了两种较直接的改动。

一种是同时检索记忆库与原始历史，将候选证据一起重排序。Qwen3.6-27B在LongMemEval-s上使用SimpleMem时，加入这条原始证据路径后，准确率从73.6%升至82.8%，记忆税从12.0%降至5.2%。它让加工形成的偏差有机会被原始材料纠正。

另一种是把过去的问题、检索到的证据及访问经验再放回记忆，使类似需求下次更容易到达所需信息。在PersonaMem-v2上，MemoryOS采用这种递归方式后，准确率从48.2%升至49.1%；但SimpleMem的记忆税反而从11.2%升至12.1%。这条路线有局部收益，也会引入新的加工风险。

研究还扩展到经验记忆和世界模型记忆：在部分网页任务中，将长轨迹提炼为工作流能够胜过直接检索轨迹；在部分工具任务中，一些记忆方法仍然落后。效果取决于任务究竟更需要忠实回忆，还是可迁移的抽象。

局限与启示：评价记忆，要有一个足够强的检索参照

这项研究以静态、离线、英语基准为主。出于成本考虑，PersonaMem-v2使用20%样本，MINT-Eval使用10%，GPT模型在LongMemEval-s上使用100题子集。系统进一步专项调优可能改变结果，长期在线、多语言以及更强模型的表现也没有被充分覆盖。

一些基准本来就偏向从历史中找答案，留给复杂记忆额外创造收益的空间有限。作者也保留了另一面：准确回忆本身就是现实需求，基准应同时覆盖直接检索与更需要抽象、迁移的任务。

Memory Tax 提供的判断方式，是将新增解决的问题、加工丢失的问题和完整计算成本放在一起看。对智能体记忆而言，把历史组织得更整齐只是过程；能否保留原始证据、方便访问，并在具体任务上产生可衡量的净收益，才是设计需要回答的问题。