从「看见」到「行动」：浙大团队发布首篇「智能眼镜第一人称智能」综述

当我们谈论智能眼镜时，许多人的第一反应仍是：它能不能拍照、放歌、导航，或者它就像一个戴在头上的语音助手？

但随第一人称（Egocentric）视觉、多模态大模型、人机交互和具身智能的快速发展，智能眼镜正在发生着更深刻的演进：它不再只是一个负责采集或显示信息的配件，而逐渐成为连接人的感知、持续记忆与数字 / 物理行动的第一人称智能平台。

近日，来自浙江大学 APRIL Lab 的研究团队在综述《From Seeing to Acting: Smart Glasses as First-Person Intelligence Platforms》中为这个快速发展的方向建立了一套系统性研究框架，全面组织并讨论了相关概念、方法、资源、评测与未来方向。作者团队也同时维护了一个 GitHub 资源库，希望与感兴趣的研究和学习人员一起建设。

论文标题：From Seeing to Acting: Smart Glasses as First-Person Intelligence Platforms
论文地址：https://arxiv.org/abs/2608.24877
项目仓库：https://github.com/zhangzjn/awesome-smart-glasses

从硬件规格到可验证能力轴

一副智能眼镜，在任意时刻接收的是一组第一人称观察流：你看到的画面、听到的声音、你的动作和位置、你的注视和手势、你的显式交互，以及设备状态和隐私策略。这些信号不是孤立的传感器读数，而是一个时间对齐的结构化流。

论文从上述第一人称数据流出发，将设备 / 平台硬件归并为八条可验证的轴：第一人称视觉采集、音频感知与输出、空间与运动状态感知、近眼视觉反馈、免手交互控制、计算与连接架构、数据与可复现接口、部署包络与信任信号。

这八条硬件能力轴决定了不同眼镜路线分别能支撑什么样的研究主张，并把 “AI 眼镜” 等模糊的产品标签转化为可以被评估和复现的系统条件。论文还给出了一个智能眼镜产品硬件矩阵，把代表性设备映射到这些能力轴上，并指出能力进展既不是传感器数量的单调函数，也不与显示复杂度成正比，每条路线都在有限的预算下做出不同的取舍。

七项基础能力与 L0-L5 框架

在硬件之上，论文抽象出七项相互依赖的基础能力：第一人称感知、多模态上下文、持久空间状态、可审计的个人记忆、情境化智能体行动、具身数据接口，以及贯穿所有环节的部署约束。

这些能力不是简单的线性流水线叠加，第一人称感知提供证据基础，多模态上下文整合异构观察，空间状态维持跨地点的几何与物体级上下文，个人记忆把系统状态延伸到事件和时间之上，情境化行动则闭合感知 — 状态 — 行动的循环。具身数据接口向外延伸，把第一人称观察转化为机器人学习和跨具身迁移的资源。部署约束则横跨所有能力，而不是只在最后出现。

基于这些能力，论文提出了 L0-L5 跨能力层级框架：L0：记录与传递，L1：即时反应式感知，L2：情景化上下文辅助，L3：持久状态，L4：受控行动，L5：具身耦合。这一 L0-L5 框架并不作为产品排行榜，而是针对特定任务和证据的能力边界。

应用场景与部署框架

综述进一步将研究工作和硬件平台放入九类真实场景中考察：日常辅助、无障碍辅助、工业流程、医疗与照护、教育与技能训练、移动与交通安全、社交协作、空间智能，以及具身智能。每个场景都连接了所需的能力循环、代表性数据集和基准、研究系统、产品入口、受影响的相关方、失败后果，以及缺失的验证证据。

不同的应用场景也意味着不同的功能与责任，因此论文进而提出了一个九维部署框架，覆盖硬件、运行时、感知与推理、状态与记忆生命周期、反馈与干预、行动与外部系统、可靠性与恢复、隐私安全与治理、开发者接口与可复现性。在此基础上，论文给出了一个以主张为条件的评估协议、一个部署检查清单，以及一个从文档、实验室测量、基准测试、设备流回放、故障注入、端到端研究、纵向部署到隐私安全审计的迭代证据阶梯。

结语

论文最后提出了八个开放挑战和六个路线图方向，指向可信的第一人称具身智能系统。作者希望这篇综述能推动将智能眼镜变成可比较、可部署、可复现评估的研究对象，为未来研究和应用提供指导，为社区提供一份清晰的领域地图。

作者信息

本文由浙江大学 APRIL 实验室团队完成，第一作者及通讯作者为浙江大学百人计划研究员张江宁，共同第一作者为浙江大学 APRIL 实验室研究生陈浩骏。

转载请联系本公众号获得授权

投稿或寻求报道：liyazhou@jiqizhixin.com