一图生成不穿模的驾驶视频，物理合理性Waymo实测第一丨港科广新框架已开源

Motion Forcing团队 投稿
量子位 | 公众号QbitAI

旁边车道的车突然加塞，自车赶紧减速避让。

这段行车画面，不是行车记录仪拍的，而是AI生成的。

对自动驾驶来说，最难补齐的，是那些平时不常见、一旦发生却可能直接造成危险的瞬间。

现在，生成这类视频只需要一张照片，加上几条车辆轨迹就够了。前车怎么切进来、自车怎么减速避让，整个过程都符合物理规律，车和车之间不会互相“穿模”。

△两辆车先后加塞，自车依次减速避让

这就是来自港科大（广州）团队的新工作Motion Forcing。

它的思路简单来说，就是先想清楚东西怎么动，再去画东西长什么样。

在Waymo真实驾驶数据上，它的动作连贯性和物理合理性两项指标都排第一，超过了Seedance 2.0和Wan 2.6这两款头部视频模型。

除了驾驶场景，它还能生成多米诺骨牌连环倒下、机械臂推动物体的视频，同样符合物理规律。模型代码和交互Demo均已开源。

△多米诺骨牌连环倒下

△机械臂推动物体

画得像，还得开得对、控得准

现在的视频模型，画面越来越精致，可一到复杂场景就容易“露馅”：车开着开着穿过了另一辆车，被挡住的车凭空消失，碰撞之后的反应也不对劲。

问题出在哪？

团队认为，是因为模型要同时操心两件事：东西怎么动（车开到哪、开多快、谁让着谁），东西长什么样（车身颜色、光影、路面纹理）。

对模型来说，把画面细节画好，比把物理规律搞对容易得多。两件事搅在一起，它自然会优先顾画面，把物理放到一边。还有一层容易混淆，摄像头装在自车上，画面里一辆车动了，可能是它自己在转向，也可能是他车和自车都在动。

已有的一些方法尝试先给一个粗略的运动方向，再让模型照着画。但几条稀疏的轨迹线和一整段高清视频之间差得太远，场景一复杂，模型要么不听指挥，要么物理出错。

Motion Forcing的做法，是从两个维度解耦：先把“怎么动”和"长什么样”拆开，再把自车与他车控制分开，把生成拆成三层：点、形、貌。

就像画画：先打几个点定好位置，再勾出轮廓和前后关系，最后才上色。

放到Motion Forcing里，“点”就是用户画的轨迹，“形”是一段只有远近、没有颜色的深度视频，“貌”才是最终的彩色视频。

这是生成的主线。主线之外，团队还加了两个关键设计：一个用在训练上，逼模型真正学会物理；一个用在输入上，告诉模型自车怎么开。下面一个个看。

△Motion Forcing整体框架：点（轨迹）→形（深度视频）→貌（彩色视频）

点：每辆车就是一个圆

每辆车被简化成一个圆：圆心代表它在哪，圆的大小代表它离镜头多远，越近越大。用户画的轨迹，就是这些圆怎么移动。

这样控制起来非常灵活：手画箭头、写一句指令，甚至直接调整某一时刻的速度，都能转成点的轨迹。

形：先理清谁在前、谁在后

接下来，模型先不画彩色画面，而是生成一段深度视频（一种灰度画面，每个像素表示离镜头有多远）。

深度视频里没有颜色和纹理，只有空间结构：谁在前、谁在后、谁挡住了谁、两车之间还有多远。碰撞、遮挡这些物理关系，在这一步就要先理顺。

貌：最后再上颜色

空间结构定下来之后，模型再以它为蓝本，补上颜色、光影和纹理，生成最终的视频。

值得一提的是，这两步用的是同一个模型。训练时，模型随机在“推结构”和“上颜色”两种任务之间切换，相当于一个模型同时学会了当“物理引擎”和“渲染器”。

中间多了一层深度视频，还有个额外的好处：用户可以在上色之前先检查一遍，车的位置不对就挪一挪，再决定渲染。

盖住答案，逼它学物理

主线讲完，先看训练上的设计。光会照着轨迹画还不够。现实中，用户往往只画了开头几步，或者只画了其中几辆车。

于是团队在训练时故意“盖住答案”：有时把轨迹的后半段遮掉，有时把某辆车的轨迹整条拿掉，但仍然要求模型生成完整、正确的深度视频。

想答对，模型就得自己学会惯性、遮挡这些物理规律：比如轨迹只画了前半段，模型就要根据车之前开多快，自己推出它后面会开到哪；被挡住的车，也不能凭空消失，等它重新露出来时，位置得对得上。

把镜头怎么动，直接“画”给模型看

再看输入上的设计。前面说的都是周围的车怎么动。可自车也在开，摄像头装在车上，整个画面会跟着转弯、前进。画面里一辆车位置变了，可能是它自己在动，也可能两辆车都动，所以除了周围车辆的轨迹，还得告诉模型自车要怎么开。

常见做法是把“转多少度、走多少米”这样一串数字喂给模型，但模型很难把这串数字准确对应到画面上。

Motion Forcing换了个方式：先把第一帧的深度图，按照自车要走的路线“挪一挪”，做成一段镜头运动的预览，再交给模型。

模型看到的不再是抽象的数字，而是每个像素该往哪移，转弯、加速、减速都控制得更准。这样，周围的车和自车就能各调各的。模型生成的视频就能做到，同一次加塞，自车可以换种方式减速；同一段自车行驶，前车也可以在不同的时机或角度切入。

画面不是最精致，但最讲物理

团队在Waymo的100段真实驾驶视频上做了测试，用了三把尺子：画面像不像真视频、动作连不连贯，以及符不符合物理。

结果很有意思。

Seedance 2.0和Wan 2.6靠着海量数据预训练，画面这一项确实更好。

但一到动作和物理，局面就反过来了：Motion Forcing的动作连贯性得分205.2，明显好于Wan 2.6的316.2和Seedance 2.0的345.6（越低越好）；物理合理性得分33.2，也高于两者的31.2和30.5。

换句话说，大模型画得更漂亮，Motion Forcing开得更“对”。而对自动驾驶仿真来说，后者往往更要紧。

△Waymo数据集上的对比结果：Motion Forcing在动作连贯性与物理合理性上均排名第一

不过团队也坦言，Motion Forcing还有短板：行人、自行车特别密集的场景里，几个圆点很难描述那么多小目标的动作；多辆车严重重叠时，深度也可能分不清前后顺序。如果用户画的轨迹太离谱、不符合真实情况，生成结果同样会出错。

团队介绍

本论文的第一作者为许添硕，现于香港科技大学（广州）攻读博士学位。

通讯作者为Ying-Cong Chen（陈颖聪）教授，来自香港科技大学（广州）/香港科技大学，是港科大（广州）人工智能学域助理教授，兼任计算机科学与工程系联署助理教授，此前曾在麻省理工学院担任博士后研究员。

目前，团队已开源代码、模型和交互Demo：上传一张图，点选画面里的车，画出轨迹，就能生成视频。

论文链接：https://arxiv.org/abs/2603.10408
项目主页：https://tianshuo-xu.github.io/Motion-Forcing/
代码：https://github.com/Tianshuo-Xu/Motion-Forcing
模型：https://huggingface.co/TSXu/MotionForcing_driving