一颗梨在液体中快速旋转，周围的液体应该随之流动、飞溅；一个物体撞向水面，液体也应该产生与碰撞相对应的响应。
这些看似简单的物理现象，对于今天的视频生成大模型来说，却依然充满挑战。
如今，AI 生成的视频已经可以拥有相当逼真的材质、光照和运动效果。但画面看起来真实，不代表其中的运动符合物理规律。尤其是在复杂的流体与物体交互场景中，物体可能按照指定轨迹运动，周围的液体却没有做出合理响应；即使单帧画面足够逼真，连续播放时仍可能出现明显的物理不一致。
能不能在不重新训练视频生成模型的情况下，让它们生成更符合物理规律的视频？
近日，来自 Simon Fraser University、Stony Brook University、Lawrence Berkeley National Lab 和 Meta Reality Labs 的研究团队，提出了一个名为 Fluid-Gen-Zero 的免训练物理视频生成框架。
这项工作的思路很直接：既然物理模拟器已经擅长计算物体和流体应该如何运动，为什么还要让视频生成模型从头学习这些规律？
Fluid-Gen-Zero 将物理运动与视觉外观解耦，让物理模拟器负责计算运动，再利用预训练视频大模型合成逼真的视觉效果，通过生成时规划和潜空间控制将两者连接起来。整个过程无需更新视频生成模型的参数。研究团队在 Tora、VACE 和 WanMove 三种不同的视频生成模型上验证了这一框架。实验结果显示，加入 Fluid-Gen-Zero 后，物体轨迹误差降低了 26.7%–81.5%，流体光流端点误差降低了 67.9%–84.0%，同时基本保留了原始模型的视觉生成质量。
交互式物理控制：对同一场景分别施加向左、向后和旋涡三种外力，流体随之做出不同响应
论文标题： Fluid-Gen-Zero: Grounding Pretrained Video Generators in Physics without Training
论文地址： https://arxiv.org/abs/2610.10984
项目主页： https://hongh0.github.io/Fluid-Gen-Zero/
让视频生成模型遵循物理规律，一定需要重新训练吗？
从视频扩散模型到视频世界模型，生成模型在视觉真实感、运动连续性和可控性方面不断进步。但流体场景仍然是一块难啃的骨头。与普通刚体运动不同，液体会随着物体的运动不断改变形状和分布，并受到接触、碰撞、重力以及材料属性等因素的共同影响。
例如，在物体旋转的过程中，模型不仅需要预测物体下一时刻的位置，还要合理描述液体如何被带动、如何扩散，以及这些变化如何持续影响后续画面。
目前，改善视频生成物理一致性的一条常见路线，是通过额外的物理数据或训练目标，对预训练模型进行微调、偏好优化或后训练。
但这种方式存在一个问题：视频基础模型本身正在快速迭代。如果每次更换模型，都需要重新进行物理增强训练，不仅成本高，而且很难将已有的方法直接迁移到新的模型架构上。
另一条路线则是借助物理仿真。
物理模拟器能够显式计算物体之间的交互以及流体的动态变化，但它提供的通常是几何、粒子和运动状态，而不是具有丰富材质与光照细节的真实视频。
换句话说，物理模拟器知道物体和流体应该怎么动，视频生成模型知道这些场景应该长什么样。
Fluid-Gen-Zero 的核心想法，就是将这两种能力结合起来。
不同于将物理规律学习到视频模型参数中的方式，研究团队尝试在推理阶段直接引入物理仿真信号，让一个已经训练好的视频生成模型，在不修改权重的情况下获得额外的物理控制能力。
图 1：传统基于训练的物理增强方式与 Fluid-Gen-Zero 的免训练框架对比
一个物理模拟器，如何控制不同的视频生成模型？
Fluid-Gen-Zero 的整体框架如下图所示。
图 2：Fluid-Gen-Zero 完整框架
给定一张初始图像和一段文本描述，Fluid-Gen-Zero 首先通过图像分割、三维重建和场景理解，将输入图像转换为可以进行物理仿真的三维场景。
随后，利用 Genesis 物理引擎模拟流体和物体之间的相互作用，获得它们在整个时间序列中的运动轨迹，以及对应的物体掩码、流体掩码和光流等信息。
但这并不意味着将仿真结果直接转换成视频就能完成任务。
一方面，现有视频生成模型通常只能在单次推理中生成有限长度的视频，如何将完整物理过程组织成多个生成片段，是长视频生成需要解决的问题。
另一方面，即使已经知道物体和流体应该怎样运动，也需要将这些运动信息有效地注入预训练模型，而不能破坏模型原本强大的视觉生成能力。
为此，研究团队设计了两个相互配合的模块。
让 VLM 决定：什么时候适合切分视频？
第一个模块是 Generation-Time Planning（生成时规划）。
假设一个物体先缓慢移动，随后撞击液面并激起水花，最后逐渐恢复平稳。
如果将这一过程按照固定长度均匀切分，很可能恰好把撞击和飞溅的关键瞬间切开，让两个独立生成的视频片段分别处理同一个物理事件。
这样一来，即使每个片段的局部运动看起来合理，拼接后也可能出现不连续的物理变化。
Fluid-Gen-Zero 因此引入了一个由视觉语言模型（VLM）辅助的规划机制。
它不再仅仅根据视频长度决定切分位置，而是结合物理仿真过程中的三类信号：三维运动和接触变化、图像空间中的视觉运动变化，以及文本描述所涉及的关键物理事件。
例如，当物体接触液面、流体突然扩散或大量液滴飞溅时，系统会识别出这些变化较为剧烈的时间区域，并尽量避免在关键事件内部切分。
相反，对于运动相对平稳的阶段，系统可以选择更长的视频片段。
VLM 还会根据各片段中的物理事件细化文本提示，使视频生成模型能够关注当前阶段真正需要表现的运动。
这相当于在生成视频之前，先让系统理解整个物理过程的时间结构，再决定如何生成。
图 3：基于物理、视觉和语义复杂度的自适应视频规划
物体要严格控制，流体则需要保留更多生成自由度
第二个模块是 Simulation-Guided Latent-Space Guidance（仿真引导的潜空间控制）。
研究团队注意到，物体和流体虽然都需要物理约束，但两者对控制强度的需求并不相同。
对于物体，位置、形状和接触关系往往需要与仿真结果保持一致。比如，物体应该在什么时刻与液面接触、移动到什么位置，这些信息不能随意改变。
但对于流体，情况则更加复杂。液体的透明度、反射、纹理和细小液滴等视觉细节，恰恰是预训练视频生成模型擅长处理的部分。如果将物理仿真的粗糙外观强行施加到整个生成过程，反而可能损失最终视频的视觉质量。
因此，Fluid-Gen-Zero 采用了一种区域感知的潜空间控制策略（Region-Aware Latent Wrapping）。
具体而言，系统首先利用仿真轨迹构造保留输入外观的参考视频，并将其编码到视频生成模型的潜空间中，作为去噪过程的结构参考。
随后，对于物体区域，在去噪早期施加较强的约束，使其尽量遵循仿真确定的位置和形状；而对于流体区域，则采用更柔和、逐渐衰减的约束，保留必要的外观结构，同时让视频生成模型逐步接管细节合成。
这样一来，物理仿真提供结构性约束，而预训练视频模型继续发挥自身的视觉生成能力。
更重要的是，这一机制可以与模型原有的运动控制接口配合工作，无论是采用稀疏轨迹控制的 Tora、WanMove，还是采用稠密光流控制的 VACE，都可以接入同一套框架。
图 4：物体区域与流体区域采用不同的潜空间控制策略
从 5B 到 14B，三种视频生成模型都能受益
为了检验这种免训练控制机制的有效性，研究团队构建了一个包含 43 个流体与物体交互样本的评测基准，涵盖多种流体材料和物理交互场景，并利用长达 401 帧的物理仿真序列提供运动参考。
研究团队分别将 Fluid-Gen-Zero 接入 VACE（1.3B）、Tora（5B）和 WanMove（14B）三个不同规模、不同控制机制的视频生成模型。
结果显示，三个模型的物理运动对齐程度均获得改善。
其中，Tora 的物体轨迹误差从 133.20 降至 24.61，降低约 81.5%；流体光流端点误差从 3.950 降至 0.843。
在 WanMove 上，流体光流端点误差从 5.180 降至 0.827，降幅约 84.0%。即使对于本身已经具备稠密光流控制能力的 VACE，加入 Fluid-Gen-Zero 后，其流体光流端点误差依然从 6.445 降至 2.070。
这说明，即使视频生成模型已经能够接收运动轨迹或光流条件，仅靠这些条件也未必能够准确还原复杂的流体交互。进一步在生成过程中引入仿真约束，仍然可以带来明显改善。
Table 1：主实验结果。建议将物体轨迹误差、流体 fEPE 和部分视觉质量指标作为重点
除了数值指标，生成视频本身也展现出不同方法之间的区别。
例如，在部分物理仿真驱动的方法中，物体虽然能够按照指定轨迹移动，但周围的液体几乎保持静止。另一些方法则容易在长时间生成过程中出现外观失真或运动漂移。
Fluid-Gen-Zero 则通过将物理仿真和视频生成模型结合起来，使物体运动与流体响应更加协调，同时尽可能保留输入场景的材质和视觉细节。
WanMove 上的方法对比：从左到右依次为物理仿真、PhysGen3D、WonderPlay、MotionCraft、WanMove 和 Fluid-Gen-Zero（WanMove）
研究团队还开展了双盲用户偏好评测。在与对应的原始视频生成模型比较时，Fluid-Gen-Zero 获得了 55.1%–74.4% 的整体偏好比例；在与 PhysGen3D 和 WonderPlay 两种基于物理仿真的方法比较时，整体偏好比例分别达到 94.2% 和 90.4%。
这些结果表明，引入仿真控制不仅可以改善生成视频与物理参考之间的运动一致性，还能在较大程度上保留预训练模型的视觉表现。
从学习物理，到利用物理
随着视频生成模型逐渐向更长时序、更复杂场景和更高可控性发展，如何让生成结果符合真实世界的物理规律，正在成为一个越来越重要的问题。
Fluid-Gen-Zero 给出了一条不同于传统后训练的技术路线：不再要求每个新的视频生成模型都重新学习物理规律，而是利用已有物理模拟器提供结构化运动信息，通过生成时规划和潜空间控制，将这些信息融入预训练模型的生成过程。
当然，这种方式仍然依赖场景重建和物理仿真的准确性，对于更加复杂的流体交互及长时间生成，仍存在进一步改进的空间。
但这项工作展示了一种可能：视频模型的物理一致性，不一定完全依赖于模型自身参数中学到的知识，也可以来自生成过程中对外部物理规律的利用。
当物理仿真与生成式 AI 各自发挥所长，让生成视频不仅看起来真实，而且在运动上更加符合物理规律，或许不必再以重新训练一个视频大模型为代价。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
