如今，大模型越来越擅长回答问题了，但当 AI 不再只停留在聊天窗口，而是走向智能眼镜、可穿戴设备乃至家庭机器人时，问题会随之改变。用户未必有时间把需求完整说出来，也未必希望助手随时插话。更理想的助手，应该能在现场真正理解人，在用户需要的时候出现，在不合适的时候保持安静。
近日，清华大学人工智能学院 MEOW Lab 团队携手清华大学人机交互与普适计算实验室、字节跳动 PICO、威斯康辛大学麦迪逊分校等多家国内外研究机构，发布了 EgoIntrospect 与 IPIBench 两项最新研究成果。前者聚焦于 AI 如何理解用户的情绪、意图和记忆需求；后者关注 AI 在连续视频流中，如何判断何时提醒、何时沉默以及如何管理多轮任务。这两项研究都说明，下一代 AI 助手不应该只是更强的答题工具，还要学会读懂人，并把握时机，适时地与用户互动。
论文标题：EgoIntrospect: An Egocentric Dataset and Benchmark for User-Centric Internal State Reasoning
论文地址：https://arxiv.org/abs/2605.17262
论文标题：IPIBench: Evaluating Interactive Proactive Intelligence of MLLMs under Continuous Streams
论文地址：https://arxiv.org/abs/2605.27074
背景：AI 从问答系统到协作助手
今年 5 月，Thinking Machine Lab 在文章《Interaction Models: A Scalable Approach to Human-AI Collaboration》中讨论了类似的交互转向。文章指出，目前许多 AI 系统仍以用户输入、模型输出的回合制问答为基础。但真实协作并不是这样运作的。人与人一起做事时，会停顿、打断、修正，也会根据对方状态调整介入的时机。因此，当 AI 从问答走向实时协作，模型还缺少哪些能力？清华团队的这两项研究，正是在这一问题背景下，分别从用户理解和主动交互两个侧面展开。
EgoIntrospect：
让 AI 真正理解用户，而不只是看懂画面
过去，多模态大模型已经能够识别图像和视频中的物体、动作和场景。但如果 AI 要成为智能眼镜里的随身助手，理解外部世界只是起点。就像看到一只狗，用户可能感到开心，也可能感到紧张；同样路过一张地图，用户也许只是随意一瞥，或许却希望 AI 能帮自己记住它。
EgoIntrospect 的核心，是让模型学习从第一视角数据中推断用户的内部状态。研究团队共采集了 60 名参与者、超过 180 小时的日常记录，数据来自智能眼镜、智能手表、腕带、智能戒指等设备，包含第一视角视频、音频、眼动、生理信号。与传统的视频数据集不同，这项研究更强调「用户自我标注」，即参与者在数据采集过程中会标记重要时刻，并在事后补充相关情绪、意图以及记忆需求的具体信息。
基于这些数据，EgoIntrospect 设计了三类任务。第一类是情感体验，模型需要判断哪些片段对用户来说值得记录，并推断在特定情境下用户可能产生的情绪及其强度。第二类是交互意图，一方面，模型在被动响应时要判断完成用户的请求还需要哪些外部工具支持，另一方面，模型在主动交互时也要理解什么样的互动对用户是有意义、能提供帮助的，以及在什么时机介入才不会造成打扰。第三类是认知记忆，模型需要区分哪些信息用户可能记得住，哪些信息需要由 AI 协助保存，同时还要明确这类信息应当保存多久。
这也让智能助手的评测不再停留于看懂画面。对可穿戴 AI 来说，第一视角视频不是普通素材，而是用户正在经历的现场，模型要理解的，也不只是物体和动作，还有它们对用户的意义。
IPIBench：
AI 既要主动帮忙，也要学会适时开口
上述 EgoIntrospect 更关注 AI 如何理解用户，而 IPIBench 则强调 AI 在互动中如何抓住合适的时机。现实中的智能助手并不能想说就说。提醒得太早会显得打扰，提醒得太晚又可能错过；更关键的是，若用户已经取消或更改了提醒，但模型仍然按旧指令触发，那就说明它并未真正理解这种持续互动下的任务状态。
因此，IPIBench 提出了一个面向流式视频场景的交互式主动智能评测基准。传统的视频问答更像是把一整段视频先交给模型观看，再等它看完后回答问题。而在 IPIBench 中，视频是不断流入的，用户的指令也可能随时调整。模型只能获取当前时刻之前的视频内容，同时还要在连续输入的过程中完成主动监测、任务管理以及即时问答等多项工作。比如在厨房场景里，用户可能会说：「锅里的水开了提醒我。」模型既不能立刻回应，也不能等水开过很久才提醒，而是要持续观察并在恰当的时刻触发提醒。若用户随后改口或取消提醒，模型还必须及时更新任务状态，避免继续按照旧指令响应。
基于上述需求，IPIBench 设计了主动监测、主动任务管理，以及即时提问与主动式请求交织三类任务。评测结果表明，目前的多模态大模型在主动触发的稳定性和多轮交互的协调能力方面仍存在明显短板。
针对这些问题，研究团队提出了 IPI-Agent。它无需重新训练基础模型，而是在模型外部额外加入一层交互调度机制，交互意图识别与显式任务记忆管理，将用户输入区分为提问、新增任务与修改 / 取消任务，并持续维护有效任务及其状态变化，从而实现跨轮次的稳定任务跟踪。同时，它引入时间门控机制，系统会先根据历史任务和近期视频内容生成候选响应，再结合视频内容的变化判断是否真的到了需要触发的时机。
总的来说，IPIBench 把对 AI 助手的评测从看完视频后答题，推进到边看、边等、边管理任务的真实互动过程，对于未来的可穿戴设备、家庭机器人和具身智能系统而言，能否在合适的时候开口，可能和回答问题本身一样重要。
总结与展望：
AI 助手需要更懂人，也更懂时机
把清华团队的两项研究放在一起，可以发现 AI 助手的评测正在从单纯问答走向更真实的互动场景。EgoIntrospect 把注意力放回用户自身，强调去理解用户的情绪、意图和记忆。IPIBench 则进一步延伸到主动交互过程，考察提醒、沉默、任务更新以及多轮协调等表现。
在智能眼镜、可穿戴设备和具身智能等场景里，AI 助手面对的往往不再只是一个坐在屏幕前等着提问的人，而是一个正在行动、会有情绪起伏、会犹豫、也会临时改变主意的人。正因如此，下一代 AI 助手的关键不只是生成更流畅的答案，还要更细致地理解用户，更稳妥地管理任务，更有分寸地介入现场。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
