点击下方卡片，关注【Xbotics具身智能实验室】公众号
你想要的这里都有~~
近年来，Vision-Language-Action（VLA）模型在通用机器人策略上取得了巨大进展。但当机器人真正步入复杂的物理世界时，经常会遇到“非马尔可夫（Non-Markovian）”场景：刚刚打开盖子看到一个红色的方块，盖上盖子后，机器人还需要记得“里面是红色的”才能完成后续的抓取。
面对这种长序列、强遮挡的任务，仅仅依靠当前的单帧观测是远远不够的。于是，引入记忆机制（Memory）成为了主流方案。现有的方法要么做双系统分离（延迟高、误差易累积），要么把历史帧压缩进隐变量（丢失细粒度视觉特征）。而为了保留完整的视觉信息，很多方案选择了一条简单粗暴的路：无脑保留所有历史帧，做一个巨大的记忆缓存（Memory Buffer）。
但这带来了一个致命的结构性问题：冗余堆叠的历史帧让真正关键的线索淹没在了无用的背景信息中。
机器人在执行任务时，画面中大部分时间只是手臂在移动，真正包含任务关键信息的瞬间（比如揭开盖子的那一刻）极其稀少。海量的冗余帧不仅拖垮了模型的推理速度，还严重干扰了注意力机制的焦点。
上海人工智能实验室联合中国科学技术大学、上海交通大学等团队提出的 EventVLA，核心就是为了解决这个问题。
EventVLA（Event-Driven Visual Evidence Memory）的核心主张是：长程操控的记忆不应该是“全面录像”，而应该是“自主划重点”。
它让大模型学会像人类一样，只在关键事件发生时，提取并记住那极其稀疏的几帧“证据”。这一步“化繁为简”，不仅让模型彻底摆脱了冗余缓存的显存灾难，还让 EventVLA 在 17 个仿真任务和 4 个真机双臂任务上，平均成功率暴涨了 40%，且能够实时在双臂机器人上完成复杂的瞬时记忆任务。
论文：EventVLA: Event-Driven Visual Evidence Memory for Long-Horizon Vision-Language-Action Policies arXiv：2606.20092
记忆的核心难题：我们真的需要记住每一秒吗？
人类在执行长程任务时，并不会像录像机一样记住每一秒。我们的大脑通常只保留两类信息：第一类是“初始环境的全局布局”，第二类是“交互过程中的几个决定性瞬间”。EventVLA 正是基于这一直觉，将模型的记忆负担降到了最低。它完全摒弃了冗余的连续缓存，将视觉证据记忆（Visual Evidence Memory）巧妙地拆解为两部分：
基础视觉锚点（Visual Anchors）：由“第一帧”（提供全局静态布局）和“最近的短时历史帧”（提供局部运动线索）组成。这是一种免训练的启发式规则，负责为模型提供基础的空间与运动参考。 动态关键帧记忆（KEM，Keyframe Evidence Memory）：这是 EventVLA 的绝对核心。专门用于捕捉在复杂物理交互中转瞬即逝的关键信息（如抽屉里隐藏的道具）。
让模型拥有“前瞻性”的稀疏记忆
如何让模型知道什么时候该“记住”当前画面？现有的很多方法是事后总结，但 EventVLA 的 KEM 模块做到了前瞻性预测（Foresight-driven）。
KEM 模块作为一个轻量级的并行预测头，直接作用于 VLA 自回归 Transformer 最后一层的隐层特征。由于这些隐层特征天然融合了当前的视觉观测与动作条件查询 Token，它让 KEM 具备了对机器人未来动作走向的预判能力。
具体来说，模型能够直接预测未来 H 步内每一步演变为“任务关键帧”的概率。当机器人预判到接下来要揭开盖子（概率达标）时，就会自主触发一次“写入”，将这极其珍贵的一帧存入记忆池中。为了避免同一视觉事件被连续高频记录，EventVLA 引入了在目标检测中常用的 1D 非极大值抑制（NMS）和时序冷却时间（Cooldown）机制。从算法底层严格保证了写入的“绝对稀疏”，使得留在记忆池里的每一帧都是高信息密度的“呈堂证供”。
专为“瞬时记忆”打造的试金石：RoboTwin-MeM
有了好的算法，还需要能真正检验其成色的考场。现有的记忆增强基准（如 RMBench）往往可以通过简单的“拼接最近历史帧”就能轻松通关，无法真正测试模型对瞬时状态的记忆能力。
为了填补这一空白，研究团队基于强大的 RoboTwin 2.0 仿真平台并依托 SAPIEN 物理引擎，推出了全新的 RoboTwin-MeM 诊断性基准。
该基准在统一的流水线内完美支持了自动化的数据合成与策略闭环评估，从基础设施层面保障了大规模数据生成的效率以及机器人操控评测的高一致性与可复现性。更重要的是，团队为每个“动作-观测”对严格配置了细粒度的语言标注，将底层的物理交互映射为直观的结构化文本描述，为下游记忆模块的训练提供了稠密且高质量的监督信号。
该基准包含 8 个极具挑战性的任务，平均执行步数高达 430~1544 步。它显式地参数化了记忆难度 n：即机器人必须在超长的执行过程中，精准捕捉并记住 n 个转瞬即逝的中间状态（如看颜色、记数字、复现指定顺序），才能通关。
从仿真到真机：以稀疏胜海量
在系统评测中，EventVLA 的表现全面超越了当前主流的无记忆模型和各类记忆增强模型。在传统的 RMBench 评测中，EventVLA 仅凭借精简的“基础视觉锚点”，即取得了 67.8% 的平均成功率，稳居 SOTA。
而在真正考验“动态划重点”的 RoboTwin-MeM 严苛测试中，绝大多数开源模型几近全军覆没。纯依赖静态锚点的模型成功率仅有 18.0%，而全量搭载了 KEM 模块的 EventVLA 成功率飙升至 75.2%，跨越了非马尔可夫控制的长期瓶颈。
在真实机器人实验中，EventVLA 也展现了极其稳定的表现。团队在 ARX ACONE 双臂机器人上挑战了 4 个高难度长程任务（找隐藏方块、看纸条数字抓取 N 次、看木棍指示顺序抓取等）。作为基线的顶尖模型 π₀.₅ 因为没有记忆，成功率几乎全部挂零。而 EventVLA 分别取得了 90%、60%、90% 和 75% 的极高成功率。
除了极高的成功率，EventVLA 还解决了一个痛点：标注成本与推理效率。训练 KEM 模块需要知道“哪里是关键帧”，但人工逐帧标注长视频成本极高。团队巧妙利用 Qwen3-VL 搭建了离线自动标注管线，结合 In-Context Learning 提示词，大模型能以极高精度（误差在 10 步内）自动提取时间戳。配合平滑软标签和退火课程学习，实现了零人工标注成本。最终，在闭环控制频率上，由于采用了稀疏记忆拼接，EventVLA 在极小的显存代价下，保持了端到端 1Hz（约1.09秒/块）的高推理吞吐量，完全满足真实机器人的控制下发需求。
重新思考长程操控：究竟应该记住什么关键有效信息？
EventVLA 的出发点并不是简单地提供一个新模块，而是引导整个社区重新思考具身智能中的一个根本性问题：在漫长的物理交互中，机器人究竟应该记住什么？
过去很多方法陷入了一个误区，认为“保留的历史帧越多越好”，试图用海量的连续画面来维持长程上下文。但真实物理世界中的信息密度是极度不均衡的。在一个长达数分钟的重排或抓取任务里，99% 的时间可能只是机械臂在空间中枯燥地移动，这些冗余的运动轨迹对未来长期的决策几乎毫无帮助；而真正具有决定性意义的“有效信息”——例如揭开不透明盖子瞬间瞥见的物体颜色、随机抽取的卡片上写着的数字、或是稍纵即逝的目标遮挡关系，往往只存在于那不到 1% 的时间窗口里。
EventVLA 给出的解法是：摒弃“全面录像”，走向“证据收集”。它尝试把 VLA 模型从“被动接收海量历史”推向“主动预判与稀疏调度”。通过让 KEM 模块自主理解任务进度，模型学会了像人类探案一样，只在“关键视觉证据”暴露的瞬间按下快门，将其固化为长程决策的锚点。这种“前瞻性狙击”的机制，不仅避免了显存的无意义消耗，更重要的是，它让 VLA 模型的注意力机制（Attention）能够高度聚焦在真正有价值的稀疏线索上，从而跨越了非马尔可夫任务的长期瓶颈。
沿着 EventVLA 开启的事件驱动思路，未来具身记忆的研究可以向以下几个方向继续深挖：
探索层级化记忆架构（Hierarchical Memory）：将高频的短期工作记忆与低频的长期情景记忆解耦，让机器人能够有效管理并检索更庞大、跨度更长的事件序列。 更深度的记忆表征压缩（Compressed Representations）：在遇到海量事件时，不再单纯依赖原始图像块的拼接，而是将转瞬即逝的视觉证据提取为高度浓缩的语义概念或隐空间特征，进一步突破上下文长度的物理限制。
从“被动记录”到“主动预判”，EventVLA 已经为解决长序列操控中的记忆困境确立了高效且优雅的新路径。目前，该工作的代码、模型与涵盖大量复杂记忆任务的 RoboTwin-MeM 基准均已全面开源。欢迎感兴趣的同学前往 GitHub 交流探讨，一起推动具身智能向更深层次的物理世界认知迈进！
-END-
Ask Me Anything｜提问箱
❝对文章有疑惑，或想聊更深？欢迎把你的问题丢给我们：技术方案、实操踩坑、课程与资料、项目合作、职业发展，都可以问。
怎么问：在评论区留言，或私信公众号
我们会做什么：每周集中整理高质量问题并公开回复，重点问题邀请作者或嘉宾深度解答；典型问题会加入知识库并持续更新。
提问小提示：尽量说明「你的目标—当前做法—期望产出」，附上必要信息（硬件/软件版本、数据规模等），能更快获得有用答案。
一起把问题变成知识，推动社区进步 🚀
