想要让人形机器人在真实环境中开展深度交互，需具备强泛化能力的类人动作与稳定的场景感知能力。

业内现有的方法都在分别提升这两项能力，但将它们整合到统一系统中仍是待解决的挑战之一。

近日，来自上海人工智能实验室、香港科技大学团队合作提出一个真实物理世界人形机器人-场景交互系统：PhysHSI，该系统可使人形机器人自主完成各类交互任务，同时保持自然的类人行为，所使用的训练测试平台为宇树（Unitree）G1 人形机器人。

PhysHSI包含仿真训练流程与真实环境部署系统两部分：在仿真阶段，采用基于对抗性运动先验的策略学习方法，跨多种场景模仿自然的人形机器人-场景交互数据，同时实现泛化能力与类人行为；在真实环境部署阶段，设计由粗到精的目标定位模块，融合激光雷达（LiDAR）与相机输入数据，实现持续且稳定的场景感知。

研究人员针对四项典型交互任务（搬运箱子、坐下、躺下、站起）对PhysHSI进行了验证，结果显示该系统具备持续的高成功率、不同任务目标下的强泛化能力，以及自然的动作模式。

尽管我们经常看到很多机器人运动能力惊人，但想将人形机器人部署到日常环境中——例如把箱子搬运到不同地方，或是自然地坐在椅子上，构建这类人形机器人-场景交互（HSI）系统，其实要比实现站立行走、舞蹈或敏捷动作等全身技能更复杂。

因为真实世界的HSI系统需满足三点要求：（1）在不同交互场景与目标下具备泛化能力；（2）能产生物理层面合理且类人的动作；（3）集成稳定的感知模块，以提供周围物体与场景的可靠信息。现有的方法尚未能很好地应对这些挑战。

PhysHSI系统设计了三个核心模块解决上述挑战，而且仅在初始化阶段，通过激光雷达（LiDAR）可视化以交互方式指定目标物体的大致位置，此后，所有定位与交互行为均自动执行。

首先是数据制备：动作捕捉（MoCap）数据集中的人类动作被重定向为人形机器人动作，同时通过识别关键接触帧，对物体进行事后标注。

其次是对抗性运动先验（AMP）策略训练：采用对抗性运动先验（AMP）训练策略，其中判别器网络负责区分“策略生成动作”与“数据集中的参考动作”，这一对抗目标会引导策略生成自然、物理层面合理的动作，同时优化任务成功执行效果。

最后进行真实环境部署：部署阶段，基于激光雷达（LiDAR）可视化手动初始化目标物体的大致位置。当物体处于相机视野（FOV）外时，将该大致估计结果与里程计数据融合，实现近似定位。

一旦物体进入相机视野，机器人便会结合“基于AprilTag标记的视觉检测”与里程计，实现精细化全自动定位，为精准交互提供支持。

值得关注的一点是，该系统得益于基于对抗性运动先验（AMP）的策略学习，以及集成的目标定位模块，该系统展现出强大的空间层面与物体层面泛化能力，它能适配各类真实世界环境，且不受既往数据局限性的制约。

PhysHSI系统在所有测试任务中均实现了高成功率，并能生成自然、类人的动作，在难度更高、包含四个子任务的“搬运箱子”任务中，其成功率达到81.34%，此外，仅通过少量参考数据就能习得的强泛化能力，Shuman值也显著高于基于强化学习（RL）奖励的方法。

推动机器人进化的年轻人们

PhysHSI系统背后的团队成员非常年轻。

一作王华艺是上海交通大学人工智能专业的大四本科生，师从张伟楠教授，此外，他还是汤晓鸥教授发起的“国智班”成员，研究方向是机器人学习与控制，尤其侧重于人形机器人的全身控制。

目前，他在在上海人工智能实验室（Shanghai AI Lab）担任机器人研究实习生，导师是庞江淼博士与王靖博博士，也是本项研究的通讯作者。

同等贡献作者张文涛目前在华中科技大学（HUST）人工智能与自动化学院攻读理学硕士学位（M.Sc.），师从朱力军教授，研究方向是机器人技术、规划、优化和控制的交叉领域。

另外一名同等贡献作者Runyi (Ingrid) Yu，目前是香港科技大学（HKUST）二年级博士生，师从陈启峰教授，2024年，她从北京大学获得硕士学位，曾先后在上海人工智能实验室、宇树科技（Unitree）及微软亚洲研究院（MSRA）做实习生，研究方向涵盖机器人学、计算机视觉、机器学习及其交叉领域。目前，她正在探索具身智能领域，尤其聚焦人形机器人操作方向。

研究人员在论文最后表示，PhysHSI系统其实还存在一些局限性。

例如硬件限制，当前系统依赖宇树（Unitree）G1机器人的橡胶手部进行抓取，这限制了其对更大或更重箱子的操作能力，过重的负载可能导致执行过程中电机过热引发故障。

其次是大规模高质量HSI数据，即人形机器人-场景交互数据，他们采用的人工标注流程扩展性不足。

最后是当前的目标定位依赖模块化的真实环境系统，开发更自动化的感知模块，例如集成可实现自主探索的主动感知技术有望进一步提升系统鲁棒性。

One more thing

由于具身智能机器人赛道投融资的火爆，相关研究近期层出不穷，各路实验室的研究逐渐形成技术互补，推动人形机器人快速迭代发展。

PhysHSI团队在局限性中提到的大规模高质量HSI数据问题，今天恰好就有另一支华人主导的研究进行了相关发布。

与大多数人形机器人数据（基础固定、任务范围狭窄）不同，Humanoid Everyday数据集涵盖了多样化、运动整合的技能，涉及灵巧的物体操控、人机交互、运动集成动作等。

该数据集利用高效的人工监督远程操作流程，聚合了高质量的多模态感知数据（包括RGB、深度、激光雷达和触觉输入）以及自然语言注释等，涵盖7大类260个任务，包含10.3万条轨迹和超过300万帧数据。

数据集地址：

https://humanoideveryday.github.io/

感兴趣的机器人开发者和从业者，正好可以综合上述两项最新研究进行新的机器人功能升级尝试。