叠杯子、抚平揉皱的毛巾、把东西放进抽屉——这些人类习以为常的日常琐事，对机器人来说却往往充满挑战。为了让机器人更聪明、更有条理地执行物理操作，美国卡内基梅隆大学（Carnegie Mellon University，CMU）的Adam Hung、Deva Ramanan等研究人员开发了一款名为ModAR的“世界动作模型”。它的核心逻辑很直观：在控制双臂真正动起来之前，先让机器人在脑海中“预演”场景的物理变化。2026年9月15日，相关研究已在arXiv预印本平台发布。
过去，赋予机器人“预测未来”能力的模型，往往习惯将未来场景生成为一张张逼真的彩色图像。但实际上，像素级地重建整个画面未必能提炼出操作真正需要的信息。ModAR走了一条更务实的路线：它放弃了生成全彩画面，转而依次预测物体关键点的运动轨迹、反映场景语义的视觉特征，以及空间深度关系。前一步的预测结果直接作为下一步的推理依据，层层递进，最终推导并生成机器人的动作。这种机制相当于在动手前，先在系统中生成一份逐步细化、剥离了冗余视觉信息的“操作草图”。
这种“抽象预演”在真实的双臂机器人上展现出了威力。研究团队设计了叠杯子、折毛巾以及“放置物品并关闭抽屉”3项测试，每项执行30次。当仅使用100段通过遥操作录制的机器人示范数据进行训练时，系统的平均成功率为70.0%。
有趣的是，该模型能够有效吸收缺乏机器人动作标签的数据。当研究人员在训练集中加入200段同任务的纯人类操作示范后，机器人的成功率大幅跃升至81.1%；进一步混入1000段EgoDex数据集中的人类操作视频后，成功率继续小幅提升至83.3%（尽管这一微小增益的稳定性仍需更大规模的测试来确认）。
人类示范视频虽然没有提供关节电机的转动数据，但极大地丰富了模型对“物体被操作后应如何变化”的物理常识理解。这证明，模型完全可以利用海量且极易获取的人类操作视频来补充对物理世界的认知，而具体的执行控制再由少量的机器人示范来补足。
精彩内容回顾
《科技导报》创刊于1980年，中国科协学术会刊，主要刊登科学前沿和技术热点领域突破性的研究成果、权威性的科学评论、引领性的高端综述，发表促进经济社会发展、完善科技管理、优化科研环境、培育科学文化、促进科技创新和科技成果转化的决策咨询建议。常设栏目有院士卷首语、科技新闻、科技评论、本刊专稿、特色专题、研究论文、政策建议、科技人文等。
