李飞飞新访谈：LLM预测Token，世界模型预测「新视角」

一水 发自 凹非寺
量子位 | 公众号 QbitAI

李飞飞这次，是真想把Atlas讲明白。

「全球首个」多模态世界模型Atlas刚发布，她就拉上World Labs另外两位联创做客a16z，大聊特聊Atlas到底是什么、背后有哪些核心技术以及它到底意味着什么。

△左起依次是：联创Justin Johnson和Ben Mildenhall、李飞飞、主持人Martin Casado

信息量很大，先给大家划个重点：

• Atlas的基本动作，是换个位置继续看。 LLM预测下一个token，视频模型预测下一帧，Atlas预测的则是新视角。给它几张照片，它要理解这些画面在空间里是什么关系，再告诉你从另一个位置看过去会是什么样。

• 生成和重建，第一次被装进了同一个模型。 过去，生成负责想象不存在的画面，重建负责还原真实空间，两拨人研究了几十年。Atlas用相机位姿把它们接到一起，同时处理文字、图像、视频和3D。

• 3D采集可能一下少掉两个数量级。 以前重建一个空间，需要围着它拍几百甚至几千张照片；Atlas想把这个数字降到几张、几十张。三部iPhone，也能拍出《黑客帝国》式的子弹时间。

• 它瞄准的不只有影视、游戏和3D创作。 在李飞飞看来，机器人眼下最大的瓶颈是数据而非芯片。Atlas可以把真实环境更快搬进仿真世界，再通过随机化制造大量训练场景。

• 终点也不是更逼真的画面。 World Labs接下来要补上动态、编辑和交互，让模型不只生成世界，还能理解世界怎样响应动作。再往前一步，模拟器本身甚至可能成为规划器。

而最有野心的判断，还在最后。

他们把「新视角预测」和「下一个token预测」放在同一位置，认为它可能是通往AGI的基础原语。

这个判断能不能立住还得看后续模型，但如果你关心世界模型和空间智能将如何演化，这场对话值得一读。

以下为经整理后的全文实录，enjoy。

Atlas是什么，为什么重要

主持人：谁先介绍一下昨天发布了什么，以及它为什么重要？

Justin：Atlas是我们新一代的世界模型，有三项基本能力：生成、重建和模拟世界。这三项之下，又有几种重要的具体能力。它非常擅长以相机为条件的生成。你可以输入一张图像和一条相机运动轨迹，用它们控制模型，让模型沿着你想要的任何视角生成视频帧。

它也非常擅长稀疏3D重建。你可以输入一帧或多帧现实世界的图像，最多100帧，用这些不同视角重建现实世界；重建的结果既可以是穿行于这个空间的视频，也可以是这个空间的显式3D重建。

最后它还可以用来做模拟。我们展示了一些很棒的子弹时间视频，在网上引起了很多关注，也展示了机器人仿真。

主持人：什么是子弹时间视频？

Justin：这个说法来自《黑客帝国》。第一部电影里有个著名镜头，Neo向后倒下，你记得吧？那一幕是慢动作，相机围着他绕了一整圈。为了拍出这个镜头，他们把数百台相机围成一圈。Neo在摄影棚里向后倒下，数百台相机在绿幕前从不同角度拍摄，再把所有相机的画面组合起来，做成电影里的那个经典镜头。

现在用Atlas，只需要三台相机。不需要摄影棚，不需要绿幕，也不需要昂贵的标定；我们真的可以把三部iPhone分别架在三脚架上就开始拍摄。

拍的可以是一个人投篮，也可以是一颗草莓落进一碗牛奶里。拿到这三段iPhone视频以后，我们就能重新设计镜头：比如把时间冻结，让相机在牛奶溅起的瞬间飞进场景，得到非常惊艳的凝固时间画面。这些只用几台相机就能做到。

主持人：能不能用最简单的方式解释一下Atlas到底做什么？输入是什么，输出又是什么？

Justin：Atlas最核心、最根本的一点，就是新视角预测。我们认为这是一个令人兴奋、非常基础的新原语，也是以前从来没有人用这种方式做过的基础模型原语。我们知道，LLM建立在下一个token预测之上；视频模型建立在下一帧预测之上。

Atlas真正做的是新视角预测。给它一个场景的若干视角，或者对场景的描述，这些输入就会进入我们所说的空间上下文，隐式地描述我们要讨论的世界。随后，你可以把一个虚拟相机放在时空中的任意位置，Atlas会理解，从那个时间、那个空间位置看过去，世界应该是什么样子。

主持人：Ben，现在视频模型多得数不过来，大家都说自己是世界模型，也都声称能生成新视角。你能不能更具体地拆解一下，它和之前形形色色的模型到底有什么不同？

Ben：Justin刚才说的空间上下文，在这里特别重要。很多视频模型最初出名，是因为能从单张图像生成视频，或者在首帧和尾帧之间插值；现在，我们开始看到一些模型能做多参考图输入，比如输入20张、30张、50张图像。

但Atlas的关键在于，输入的每一帧都有明确的空间意义。它不只是一张让模型随意理解的图像，你也不必在文字提示里反复跟它较劲，试图让它按某个特定方式去做。在Atlas里，每张图像都关联一个三维相机位姿。这意味着，你可以以极高的精度完成重建任务。

比如，我们在这间屋子的四个角落各拍一张照片，把这四个视角输入模型，就能精确复现屋子里你看到的所有东西。它不会去猜另一个角落有什么、物体之间是什么关系，而是准确再现你提供的内容。

同样，你也可以把它用于创作和想象。拿两张来自不同AI生成结果，或者不同现实地点的照片，你可以给它们安排位置、布置场景，构建有明确创作意图的穿行镜头。这些镜头真正受控于你把内容精确放在什么位置，以及相机朝哪里看、沿哪里运动。

这与视频模型很不一样。后者通常只有更高层的文字控制，你得反复重新生成，体验更像是玩老虎机。

放大的视频模型，还是新架构

主持人：这只是一个顺理成章的、规模更大的传统视频模型，还是一种新架构？

Justin：我认为，它是一种相当新的东西，原因有几个。首先，我们一直在讲，它在同一个模型里同时做生成和重建。就像Ben说的，你给它这间屋子的几个视角，它就能按照你看到的样子，准确重建屋子里的一切。

在历史上，重建一直是计算机视觉中一个独立的子领域，有自己的专门任务和专门模型。生成则是所有文生视频模型擅长的事情，也是过去几年那些大型扩散模型擅长的事情。它们很适合创意应用：我想象一个以前从未存在过的东西。

现在有了Atlas，我们第一次把视觉智能的这两个部分放进同一个模型。它能在同一套架构里，同时进行3D重建和生成；要做到这一点，我们必须做一些改变。

首先，我们必须从一开始就把它设计成多模态模型。它原生处理文字、图像和视频，也把相机位姿作为模型的原生输入；我不认为以前有人在预训练阶段就这么做过。它还把3D作为一种原生模态来处理。所以，它从一开始就是以一种我认为前所未有的方式，按原生多模态设计的。

主持人：不好意思，我对这个领域没有那么熟悉。你说的3D，是深度、模型，还是别的东西？

Justin：我们目前采用的表示方式是深度图。假设有一帧画面，对应的虚拟相机会告诉我们它在3D空间中的位置；相机的位置和参数，就是模型的原生输入。与这个相机位置关联的，可以同时有RGB图像和深度图。RGB告诉你，从空间中的这个位置看过去是什么样子；深度图告诉你，从这个位置看到的三维空间结构是什么。所以，文字、图像、视频、3D、相机，这些模态都是由它以多模态的方式共同处理的。

李飞飞：我想补充一点。Justin刚才说的，以及Ben说的内容，都特别重要，但大家对它们的重视还不够：在计算机视觉领域，我们第一次实现了像素生成和像素重建的统一。

这个领域已经存在半个多世纪了。我在这里工作了几十年，实在数不清有多少博士论文研究的是重建问题，或者新视角合成问题。而且，我们的领域传统上有多条不同的研究路线。去参加计算机视觉会议，你会看到像素生成的方向、识别的方向，还有3D重建的方向。

这是一个优雅的模型。它以视角和视角估计为锚点，把重建与生成这两个问题结合起来、统一起来，这非常强大。

空间智能，以及新视角预测的重要性

主持人：我们能不能退一步，把这个背景补全？我记得你们刚创办公司时，说过想解决空间智能的问题，现在有了这个新模型。作为外行，它给我的感觉非常通用。一边是下一个token预测，一边是新视角预测。你能不能描绘一下，这为什么是迈向空间智能这个一般性问题的重要一步？也许可以先解释空间智能是什么。

李飞飞：空间智能最终必须让我们能够生成一个空间，在其中推理，也能够在其中编辑和交互。我们可以争论它是3D还是4D。最终它一定是4D，因为还有时间维度；但即使只讨论3D，刚才那些也是必须完成的基本任务，是空间智能必须具备的能力。有了这些，我们就可以渲染、模拟和规划行动。

但要做到这些，有一个根本问题必须解决：理解空间的几何、结构和物理。我确实认为，Atlas向前迈出了重要的一步。因为现在对于每一帧，你都能生成和估计一项重要信息，也就是视角、相机位姿。

这是理解空间几何所需要的最关键信息。它可以带来各种涌现行为，也就是我们在模型下游应用中看到、在博客里展示的那些能力。所以，在通向空间智能的道路上，生成像素当然是比较早的一步，我们已经在你说的无数个模型里见过了。

但生成真正具有空间上下文、以空间为依据的像素，绝对是另一个重要步骤，而Atlas迈出的正是这非常困难的一步。我们当然还能沿着这条路继续往前走。第四个维度是时间，会带来动态；还有更高保真的模拟，以及对空间更精细的刻画，这些都是空间智能路线图的一部分。

主持人：我确实想深入聊聊未来会走向哪里，不过我们先说说是怎么走到今天的。World Labs成立多久了？

其他人：两年半。

主持人：你们之前其实发布过模型，那为什么没有直接跳到Atlas？

李飞飞： 好问题。Justin的团队需要很多芯片。

Justin：是的，要真正把它做大，需要很多GPU。去年我们发布了Marble世界模型，那是我们推出的第一个重大的世界模型，也是现在Marble产品背后的模型。Marble很酷。它可以接收图像、视频和文字提示，用这些输入生成3D世界。

但Marble和Atlas之间最大的区别之一，就是输出模态。Marble非常专注于用高斯泼溅（Gaussian splatting）作为输出表示：不管输入什么，它都会输出一个用高斯泼溅表示的3D世界。高斯泼溅很有用，它很好渲染，能在移动设备、VR设备上高效运行，还能与游戏引擎、仿真引擎互操作，有很多优点。

不过，我觉得它也成了上一代Marble模型的一个瓶颈。因此，我们为Atlas重新调整了设计，意识到需要更早地分开这些模态的处理路径，同时让所有模态在模型中以更统一的方式工作。现在Atlas的基本原语，不再是生成一个高斯泼溅世界，而是我们说的新视角预测。它可以生成RGB帧，也可以生成3D；需要的时候，我们再利用这些结果生成漂亮的高斯泼溅世界。

而在不需要的时候，我们不必让所有输出都经过高斯泼溅这个瓶颈。要理解这些不同表示方式各自的优缺点，我们确实付出了很多心血。这是一方面。另一方面，你必须一阶一阶地攀登规模扩展的阶梯：先做小实验、小模型，逐步建立判断，知道哪些东西会奏效、哪些东西能扩展。

如果一开始就能知道什么方案可以扩展，那当然直接做就行。但我们成立公司时，世界和技术都很不一样，当时根本没有空间智能的缩放定律。我们对未来有很多雄心，但也经过了几轮迭代，才找到现在这种表述方式，让我们觉得：就是它了，这就是能真正扩展开来的那一个。

主持人：Ben，你是NeRF的创造者，做过很多3D和重建工作。对我来说，给出多个视角，最后就能得到一个3D的东西，这并不是那么显而易见；但你几乎整个职业生涯都在做这件事，能不能讲讲这一步？

Ben：正如你说的，我职业生涯中的很多年，实际上是绝大部分时间，都在研究怎样从图像生成3D内容。公司早期我们也反复讨论过：最终产生3D的，会是这种方法吗？我们是先合成多个视角，再从这些视角构建3D？还是尝试直接生成3D？

整个领域对于哪种路线最终会胜出，或者哪种路线能更早地获得最大优势，一直有很多不确定性。不过，我当时很有信心，因为此前三年，我看到了稠密重建依靠近乎蛮力的规模扩展所展现出的力量。当然，那还是非常小、非常初步的规模扩展，不能和真正的模型规模扩展相比。

主持人：为什么叫稠密重建，稠密体现在哪里？因为接下来我们还会讲稀疏，我想确保大家理解什么是稠密、什么是稀疏。

Ben：这个问题其实也触及3D重建技术产品化的一项根本挑战，包括商业层面的挑战。人们随手给一个物体拍三张照片，或者给一个房间拍六张照片，就会想：我看着这些照片，脑海里能理解它们是怎样拼在一起的，也能补全中间缺少的部分。

但这些依赖数据形成的先验知识，与过去靠蛮力完成的稠密重建之间，一直没有真正被打通。我们过去做的稠密重建，其实更接近科学成像或者医学成像。你必须这样考虑：我希望出现在重建结果里的每一样东西，都至少要有三四个视角。哪怕只是这间屋子，也包括麦克风下面、桌子下面、每一条缝隙、每一个角落，还有植物叶片之间。

要真正拍到覆盖所有这些位置的照片，就得围着房间走来走去，做非常繁琐、非常彻底的采集。你们应该都见过我在各种地方跑来跑去地拍摄；对于训练有素的人，可能几分钟就能完成。但如果把一部普通手机或采集设备交给一个普通消费者，甚至是第一次尝试的专业人士，他可能要花一个小时。

我见过有人第一次扫描一个包含多个房间的环境，为了得到足够的覆盖，在里面走了两个小时。这是一个非常穷尽、非常繁琐的循环。所以我们说稠密，是真的很稠密：为了采集这间屋子，我要拍100张、200张、300张照片。

我们正在尝试把它降到三张，也就是减少50倍、100倍。到了这个量级，你能拿哪些采集素材来做重建，整个判断方式都会被彻底改变。你可以回头使用已有的图像，可以使用网上找到的素材，甚至用它们搭建场景。也可以从随手拍的视频里，挖掘出很多过去根本不会被认为能够重建的画面，让它们有机会以3D的形式重新活过来。

我们用Atlas做了很多这样的尝试。我把以前自己拍的、从来没成功重建过的旧素材交给系统，第一次看到了重建结果；或者拿旧的采集素材，扔掉其中95%的照片。然后，模型还能想象出一些我用传统NeRF或者高斯泼溅重建根本得不到的角度。

李飞飞：网站上有一个演示，我觉得大家还没有充分意识到它的意义，就是斯坦福的那个演示。Ben展示了，只用3到25张图像，就可以重建整个斯坦福主庭院。关键是，我们展示的是空中视角，但每一张输入图像，都是Ben站在地面上拍的。所以你看到的内容都是生成出来的，同时又遵循重建的规律，这真的很神奇。

Justin：要解决这个问题，生成和重建必须以非常根本的方式相互配合。在Ben刚才讲的传统重建方法里，之所以需要那么多视角，是因为我需要多张图像，需要从多个视角看到同一个3D点，才能做三角测量。这是传统方法的必要条件。

反过来说，任何没有被这些视角拍到的东西，任何在输入视角中不可见的像素，都会在3D重建里留下一个洞。如果一个东西在输入视角中从来没有出现过，你就得靠想象来补上空缺。这从根本上说，是一个生成过程。

哪怕在这间屋子里，让Ben拿着单反自由拍摄，采集几百个视角，即便他是这种稠密采集方面的世界级专家，也仍然会漏掉一些地方。比如每一个麦克风的下方、每一张桌子下面，或者椅子腿之间；不管有多少视角，总会漏掉一些东西。

这就是为什么模型还需要生成这种机制，因为你永远不可能把所有东西都拍全。模型必须有一定的生成能力：先根据看得见的内容做三角测量，再把那些不可避免地没有被拍到的部分补出来。

Ben：这里有件很酷的事，LLM领域很早就理解了。最初几年，大家几乎在打一场上下文长度大战：从128到512，最后到一百万。现在大家已经很直观地理解长上下文的价值了。用编程模型处理困难问题时，就会把上下文长度拉高，每个人对此都有感觉；但在图像和视频模型这边，还没有人以同样系统的方式去推动这件事。

没有人在尝试输入一个小时的视频，再做大海捞针式检索，把第37分钟的某一帧找出来。而把重建与生成放在一起，你就会发现，它们其实是同一件事：重建就是有非常长的上下文、往里面放了大量内容的生成。这就是在两者之间建立连续谱、把它们连接起来的方法。

Atlas能做到这件事，而Marble做不到；Marble有一个根本限制，说实话，你基本塞不进去超过几张图像。用Atlas，我可以拿64张图像的采集结果，做一个穿行整栋房屋的镜头。其中的一切都有依据：有的是直接看见过，有的是几乎看见过，还有的是从已有内容稍微外推出来的。

我以前给一个多房间住宅拍了2000张照片，现在把它减少到30张、40张输入，穿行镜头看起来基本一样。这在以前是完全无法想象的，而它之所以成为可能，就是因为我们构建了这样一个可以平滑扩展、不断往里放内容的上下文窗口。

主持人：所以稀疏的是你实际拍摄的照片，然后Atlas生成剩下的视角，再用经典的重建技术来处理？

Ben：某种意义上是的。这正是Atlas的美妙之处：无论你有多少输入，哪怕只有一个视角，你几乎都可以把Atlas当成一个渲染引擎，生成你想要的其他任何画面。

主持人：也就是说，可以控制一个虚拟相机在里面移动。

Ben：没错。你可以说，这里有一张图，我还想要那里、那里和那里的图；先生成其中几个，再安排一段密集的穿行镜头。你也可以按顺序来，因为它是一个自回归模型。生成的过程中，你想通过交互往上下文里加入哪些内容，可以自己选择。

主持人： 真正让我觉得不可思议的是，我脑子里的模型很简单：我有四张图，模型要在它们之间外推，而且当视角由我来控制时，所有东西还必须对得上。这意味着，它得真正符合3D结构。我一直觉得扩散模型的视觉效果很棒，但并不准确。我甚至不知道这算不算一个问题，但房间里的东西为什么能对得上，为什么能保持3D一致性？只是因为数据足够多吗？

Justin： 一部分原因吧，我们相信规模扩展假说。

你们一开始就知道它会成功吗

主持人：你们决定做这件事的时候，就知道它会成功吗？

李飞飞：我觉得我们三个人都对缩放定律有充分的信心。不过，具体的架构选择和数据配比，才是细节决定成败的地方。我看着Justin和他的团队，从完全不知道这要花多久，到也许开始出现一些苗头，再到发现它真的能行。以前没有人做过这件事，但有两个假说，我们很早就坚定相信：一个是规模扩展假说，另一个是新视角预测。

Justin：我很确信它会奏效，但没想到它会这么快做到这么好。新的模型、新的架构、新的范式，第一次预训练就能成功，这其实很疯狂。我原本觉得，也许还得再经历几轮预训练，才能达到我们想要的质量。

主持人：那这种架构路线的规模扩展是不是快到头了，需要另一次突破？还是说还有空间？

Justin：我认为我们基本上才刚开始，目前主要受算力限制。就像李飞飞经常强调的，数据非常重要；但任何事情都会有瓶颈，而我认为，继续扩大这个模型的主要瓶颈，实际上是训练算力。

在开发过程中，我们训练了一系列模型，博客里也稍微写到了，相当于先走了规模扩展阶梯的前几级。每次把模型做大，每次训练更长时间，每次用更多芯片，它都会显著变好。博客里展示的当然是我们训练过的最大、最好的模型。但真正限制它的，并不是扩展能力、数据或者类似因素，而是我们有一个计划发布日期，于是根据那个截止时间倒推，决定能负担得起多大规模的训练。

李飞飞： 这里有一个内部小故事。当时Justin和团队按照路线图，从小模型训练到稍大一点的模型；初夏有一天，那甚至还不是现在Atlas这么大的模型，而是一个更小的模型。Ben把它拿去做视角生成。你们还记得NeRF论文，以及后来很多论文里那张著名的花园桌子吗？那天夜里我收到一条Slack消息，其实我们都看到了Ben发的那条消息。生成的镜头从桌子底下穿了过去，那里还有一个足球。

主持人：那个足球是模型涌现出来的，还是原始照片里就有？

李飞飞：原来就有，是真实存在的。那天早上，我们三个人互相看着对方，说，就是它了，我们要把它做出来。五秒钟之内，我们就作出了决定，因为以前没有人见过这样的结果。

应用场景，创意、游戏与机器人

主持人： Ben，能不能具体讲讲应用场景？

Ben： 有件事挺有意思：我们看到，人们使用Marble的一个主要方式，恰好就对应现在的新视角预测。Marble是我们之前的产品，用户把一张图输入Marble，得到一个完整的、以高斯泼溅表示的3D场景，然后从几个不同视角截几张图，就结束了。我们当时就想：那我们可以直接生成这些图像啊。

而且，中间那条流程会带来不少画质损失。用户会说，这个高斯泼溅的效果还能更好一些；那如果我们保留同样精确控制的思路，直接用生成方式建模这些视角，会怎么样？

视角合成这项核心能力，作为学术问题已经研究很久了，但过去主要是基于非常稠密的采集。生成式视角合成则是一个相对很新的问题，而我们在创意流程里看到很多人需要它。创作者的工作流程都有多个阶段。我不认为有人只用一个单体模型来完成整个任务。

大家会用自己喜欢的各种图像模型，做出一批分镜图、情绪板，再到不同的视频工具里，把这些图当成关键帧组合起来，最后再剪辑和编辑。我们看到，Marble有一个相对小众但非常具体的用途：给用户一个可靠基础，让生成内容建立在某种3D一致的世界之上。

我自己就跟各种图像模型较过劲，让它们生成同一个房间的不同视角。每次你一看就知道，东西的位置又变了，根本不稳定。哪怕只是这样一个小小的使用场景，也已经表明这里存在价值，而且还有很多价值藏在下面。

几十年来，人们早就习惯了持久的3D状态，习惯了在虚拟环境中模拟现实世界里的工作方式，有布景、道具和各种场景元素。无论是电影、节目、营销画面，还是游戏环境，这种状态性和持久性，对人们理解空间推理、逐步构建环境的方式都至关重要。

人们不是这样思考的：生成一个东西，再生成一个东西，把它们扔掉，只留下文字提示。大家想要的是建立一套资产，用这种方式把一个世界搭建起来。所以，通过空间上下文机制和其他能力，我们希望提供这种层次的控制和精度，以及接收不同输入模态的能力。

目前从带位姿的图像开始，未来还想让大家对场景中的元素拥有更多控制，能够编辑、交互。我认为，这会在我们已经看到的领域中释放更多用途，也会扩展到任何需要创建现实空间的虚拟副本，或者预先想象一个将要建造的空间的地方。比如建筑设计和施工。

我曾经和一个给会议搭展台的人聊过。世界上有太多你平时不会想到、但都需要实际制造出来的东西。每一样这样的东西，基本都要经过一个相当费力的虚拟设计阶段。在这个流程中，进入3D软件去操作，是目前最艰难、最耗费人力的环节之一。比如，创意总监、设计总监、建筑师等人，对一个3D设计提出口头反馈、画个草图，或者给出一些很快写下来的意见。把这些反馈重新落实到3D表示里，大概要占掉95%的工作量。

开一次会、收到反馈，回去可能就要改一个星期。因为这些软件已经存在几十年了，却一直没有变得像搭乐高、做陶艺、用手制作东西，或者拿铅笔画草图那样直观。这正是AI能在工作流程中为人们释放巨大价值的地方，无论是创意应用，还是工业、设计或者其他用途。我非常有动力去构建我们模型的不同版本，服务这些用户。

主持人：我能理解它怎样帮助创意工作者，因为Marble已经做到了，也能理解它怎样延伸到设计、建筑这些领域。但李飞飞，你们收购了一家机器人公司。

李飞飞： 对。实际上，Atlas是这块拼图的重要部分。我们收购的这家公司，原来叫SceniX，它的关键技术是一套从现实到仿真，再从仿真到现实的系统，也就是real-to-sim和sim-to-real。

在机器人场景下，这意味着什么？比如你想训练一只机械臂，让它学会在工业环境里进行布线。首先需要大量数据，训练一个能完成这些布线操作的机器人策略，然后要评估这个策略表现得好不好，最后再把机器人部署到实际的布线环境里。

为了做训练，这家公司，也就是我们现在的机器人团队，过去做的正是Ben刚才说的稠密重建。先拍摄一个场景，再尝试把环境重建出来。这个过程非常痛苦，费时费力，严重限制了机器人仿真、从现实到仿真的推进速度。

Atlas正是这方面的下一代技术。这不只适用于机器人布线之类的任务。我们应该把视野拉大，认识到机器人领域目前最大的问题其实是数据；有一天，最大的问题也许会是芯片，但现在是数据。因为收集机器人所操作的现实世界数据非常困难。

而且，你不只是要收集布线、洗碗或者其他场景的数据，还有一个非常重要的步骤，叫随机化。你需要拿同一个环境，对其中的条件进行随机化。电缆不能总是只朝这个方向弯，也可能朝另一个方向弯；盒子的大小、颜色、盖子都可能不同，也可能出现在场景的不同位置。

因此，除了从互联网上拿到其他数据，你还必须经过从现实到仿真的过程，才能获得足够多这样的数据。Atlas会极大地帮助这个过程。这还只是第一部分，是满足当前技术条件下机器人的需求，因为现在我们还没有一个足够稳健、可用于机器人的前沿基础模型。但Atlas本身是一个多模态模型，能接收不同种类的输入，也能生成不同种类的输出。

完全可以想象，下一步是让它接收动态数据。这样就能真正开始连接动作规划、机器人，以及Atlas的输出，弥合它们之间的差距；这已经在我们的路线图上。

主持人：你刚才是不是也想说点什么？

Justin：对，我想说，训练机器人策略，与我们以前见过的几乎所有其他AI应用，都有一个根本区别。生成一段代码、一张图像或者一段视频，模型本质上是在创造一件作品。这样的作品有很多样本，你可以去网上或者其他地方收集。

机器人策略则有根本不同。它不是产出一个静态的东西，而是一套要走进世界、采取行动、尝试达成目标的策略。世界并不总会按照你的预期作出反应，意料之外的事情一定会发生。所以，机器人策略从根本上说，是一个身处现实世界、与现实世界交互的智能体，在这个过程中会发生各种情况。

非常关键的一点是：在训练期间，这些策略必须接触到部署时可能出错的各种情况。这就是仿真对机器人如此重要的原因。仿真有两个方向。一个是经典仿真：你选一个喜欢的物理引擎，作为人类设计者发挥想象，设想完成这个任务时所有可能发生的情境，再编写显式代码，把它们一一建模。这是一条有意思的路线，编程智能体也会极大地增强它。

但还有另一条路线，就是更加数据驱动的仿真。我们能不能有一个学习出来的模型，理解环境、理解世界会怎样响应动作，也理解世界有时会作出意料之外的反应？我们能不能尽量用更多数据训练神经模拟器，再把这些学习出来的神经模拟器作为仿真环境，用来训练机器人策略？这是Atlas未来一个非常有意思的方向。

但事情还不止于此。一旦有了这样一个学习出来的模拟器，它的脑海里已经理解了这个世界，也知道世界会如何响应动作。那么，为什么不能让模拟器本身成为规划器呢？

这正是我们围绕世界模型及其通用性所坚持的核心判断。有一些核心的东西是模型应该理解的：怎样生成世界，怎样模拟世界，以及世界在不同情境中会如何呈现。理解世界会如何响应某个动作，与想象为了让世界作出某种特定反应、我应该采取什么动作，这两件事是高度相关的。

绕不开的问题，视频模型与世界模型

主持人：我给一位这个领域的专家发消息，问他怎么看这次发布。他也说非常棒、非常惊艳，但还需要更多动态。至少对于机器人来说，乃至更一般的情况，一个会动的世界似乎更理想。能不能聊聊这一点，再谈谈其他你们愿意分享、也觉得值得讨论的未来方向？

Justin：我们确实已经有初步动态了。这一点大家可能没有充分意识到，我们在博客里也没有特别强调：之前的Marble世界模型，本质上是静态的。它根本无法处理任何动态，这个限制写在模型架构里，也写在训练方式里。整套东西从根本上就是静态的。

在Marble之后，我们已经知道这是个大问题，并且已经在Atlas里解决了。Atlas的架构从根本上就支持动态，它的训练数据里也有动态；仔细看我们已经发布的某些视频，你会发现画面里其实有一点运动。

李飞飞：对，波浪，水面的波浪。

Justin：对，有些例子里水面有波浪，还有一些生成的空中视角里，能看到小汽车在移动。所以，动态其实已经存在于这个模型中了。

主持人：不过，如果你想从多个视角重建3D，我感觉动态会带来很大麻烦。这两件事是不是互相冲突？

Justin：不会。我们的一个判断是，如果要做基本的3D重建，你确实希望没有动态，希望建模的是时间精确冻结时、场景的精确视图。但这也正是之前Marble路线的一个问题。你可以尝试寻找完全静态的数据，可这种数据很难大规模扩展，也很难持续获得更多。

我们后来意识到，即使最终想要的是静态输出，得到它的最好办法，实际上也是让模型接触动态。把你能找到的动态内容、静态内容都尽量给它，让模型自己学会如何把动态因素分离出来。

在Atlas的预训练阶段，它其实已经看过大量动态内容。只是针对这次发布的模型检查点，我们做的后训练更多聚焦静态内容，更多关注空间中的移动，而较少关注时间变化。但我相当确定，预训练检查点里已经潜藏了很多动态能力。这也是我们接下来会大幅改进的方向。

我们能走进4D视频吗

主持人：那么Ben，这是不是意味着我们将会得到能走进去、四处探索的4D视频？

李飞飞：你看他们脸上的笑容就知道了。

主持人：我的感觉是，即使你们现在停在这里，接下来只把它做得更大、更快、更好，也几乎可以围绕它建立一个完整行业。它像是一种适用于很多领域的基础原语，哪怕不做别的，也有很大空间。但在你关注的应用里，主要是内容创作、创意、3D这些方面，除了更大、更快以外，还有什么事情让你兴奋？

Ben：我特别想继续推进多模态这一面。不同的控制方式在这里非常关键，我觉得大家，尤其是学术界，还远远没有认识到，为这些模型加入控制条件、把内部能力释放出来，有多重要。

李飞飞：换成通俗的话，就是可编辑性。我觉得可编辑性才是这里的关键。

Ben：对。我们已经在单张图像模型里看到这一点，今年也开始看到视频模型释放出这类能力：像是多轮交互，或者模型能非常直观地理解，我要这个人、这个物体，还要这件事发生。然后，它把这些要求一次整合在一起，不需要你在系统里做大量手工操作，它自己就能理解。

在编辑方面，前沿图像模型已经有点达到这个水平了，但这类能力还没有同样有力地扩展到视频模型和世界模型。我们见过一些非常初级的例子，比如给那些实时模型输入一句话，场景里就出现一只恐龙。但我想把它真正提升到工业级的强度。

难点在于，你要增加控制能力，同时不牺牲模型质量，不然它基本就只是一个聚会上展示的小把戏。没有人会因为你多给了几个可调旋钮，就认真考虑把自己正在用的最先进视频模型换成你的模型，尤其是质量还下降了的话。所以，真正的问题是：怎样维持当前模型输出所建立的高标准，同时加入用户会要求的各种有趣能力？

比如与场景交互、控制布局、控制场景里物体的身份，以及控制时间。沿着这个方向走，控制越复杂、越丰富，就越会打开大量有意思的产品和界面设计空间。我们几乎可以从头重新思考，人们应该怎样与计算机里这些具有持续状态的3D世界交互。

这才是最终目标：获得构建这种系统所需要的全部能力。

主持人：除了更大、更好以外，你还有什么特别期待的新功能想补充吗？

李飞飞：对我来说，还是要回到智能的第一性原理。对于空间、物理空间而言，智能并不是静静坐在那里，只看见或者解释某个东西。它真正要做的，是把看见、体验和交互连接成一个闭环。沿着这条阶梯继续往上走，其实正是Ben刚才说的事情。

Justin：这里有一个很有意思的概念，叫AI完备性。你听说过吗？

主持人：听说过。我听到AI完备性，通常是在LLM的语境里。意思好像是，为了回答最聪明的LLM需要回答的问题，你基本上也得是最聪明的LLM，或者必须解决通用智能。

Justin：不是，我说的是它和图灵完备性的联系。想法是，在经典复杂性理论里，如果一个任务是图灵完备的，你就可以把某一类中的任何问题归约到这一个问题上。所以AI完备性的一种非严格定义就是：有一个基本原语，本身是一项AI任务；如果我能在最广泛、最一般的意义上彻底解决这项任务，就能解决任何智能问题。

LLM的经典例子是，下一个token预测是AI完备的。我记得Ilya举过一个例子：有一本推理小说，模型必须读完整本书，最后一句是，凶手是。然后，请预测下一个token。所以，你基本上可以把任何智能任务都转换成这种形式。显然，人们相信下一个token预测具有AI完备性。

但我们逐渐意识到，Ben今天早些时候也聊到了，Atlas里的新视角预测这个原语，尤其是生成式新视角预测，也具有AI完备性。比如，你可以把电影的所有帧都给它，然后凶手走出来，让它准确预测走出来的是谁。

李飞飞：从演化的视角来看，新视角预测恰好就是演化在让动物移动时，必须解决的问题。大自然给了动物眼睛，却没有给树木眼睛。为什么？因为当你移动时，你就会看到一个新视角。无论把它叫AI完备，还是智能完备，道理都在这里。因此，我们非常坚定地相信，新视角预测与下一个token预测具有同等地位。

主持人： 太棒了。最后，祝贺你们所有人完成了一次如此出色的模型发布，我们非常期待未来的新模型。

完整回看地址：
https://www.youtube.com/watch?v=qn1QDDBnTA0

参考链接：
[1]https://x.com/a16z/status/2095972688200372368
[2]https://x.com/drfeifei/status/2095926761305575826