AI视频的牛顿革命！PhysCtrl给扩散模型装上「物理引擎」，反重力特效终成历史!

打造一个有温度、有趣味、专业的全栈式AI&AIGC交流社区，

用心写好每一篇文章！

项目主页-https://cwchenwang.github.io/physctrl/

代码链接-https://github.com/CUT3R/CUT3R

论文链接-https://arxiv.org/pdf/2509.20358

为什么需要这个算法？--现有的视频生成模型擅长从文本或图像生成逼真的视频，但往往缺乏物理合理性和3D可控性。

这个算法能做什么？--宾夕法尼亚大学提出了PhysCtrl，这是一种基于物理的图像到视频生成的新框架，具有物理材料和力控制功能。

这个算法效果如何？--大量实验结果表明：PhysCtrl可以生成逼真的、基于物理的运动轨迹，当用于驱动图像到视频模型时，可以产生高保真、可控的视频，在视觉质量和物理合理性方面都优于现有方法。

01-PhysCtrl算法简介

PhysCtrl是一种物理可控的图像到视频生成新框架，具有物理参数和力控制等特点。其核心是一个生成性物理网络，通过基于物理参数和施加力的扩散模型，学习四种材料（弹性、沙子、橡皮泥和刚性）的物理动力学分布。

作者将物理动力学表示为3D点轨迹，并在物理模拟器生成的550K动画的大规模合成数据集上进行训练。

作者利用一种新颖的时空注意力块来增强扩散模型，该注意力块模拟粒子相互作用，并在训练过程中结合基于物理的约束来增强物理合理性。

02-PhysCtrl落地场景

02.01-物理场景1生成

02.02-物理场景2生成

02.03-物理场景3生成

03-PhysCtrl基本原理

上图展示了该算法的整体流程。详细的步骤如下所述：

04-PhysCtrl性能评估

04.01-主观效果评估

上图展示了该方法与多个SOTA的物理可控生成方法（DragAnything、ObjCtrl2.5D、Wan2.1、CogVideoX）在相同输入下的生成效果。通过观察与分析，我们可以发现：该方法生成的可控效果一致性&连贯性更佳。

04.02-客观指标评估

上表展示了该方法与多个SOTA方法的客观指标评估结果。其中，SA表示语义连贯性、PC表示物理常识、VQ表示视频质量。通过观察与分析，我们可以得出以下的初步结论：该方法在多项指标上面都获得了最佳的得分结果，远优于其它基线方法。

关注我，AI热点早知道，AI算法早精通，AI产品早上线！

禁止私自转载，需要转载请先征求我的同意！

欢迎你的加入，让我们一起交流、讨论与成长！

若二维码失效：关注公众号--》交流分享--》联系我们

AI视频的牛顿革命！PhysCtrl给扩散模型装上「物理引擎」，反重力特效终成历史!图6