论文第一作者张宇，南洋理工大学 MMLab 在读博士生，研究方向为物理仿真与 AI 的结合方向，曾以第一作者身份发表 NeurIPS 2026 论文 ClothTransformer，导师为潘新钢。合作者为上海人工智能实验室的徐旭东。
过去几年，神经网络接连改写了一个又一个领域：图像生成有了 Stable Diffusion，视频生成已经能做到以假乱真，就连 3D 渲染也出现了 RenderFormer 这样的纯神经网络方法。但在高保真物理仿真上，神经网络始终没能交出令人满意的答卷，游戏、动画和机器人领域至今仍依赖需要手动调参、难以求梯度的传统求解器。
近日，南洋理工大学 MMLab 与上海人工智能实验室的研究者提出了 PhysLDM，一个面向物理仿真的 latent diffusion 范式。据团队所知，这是首个面向体网格可变形动力学的高保真时空自编码器与隐空间扩散范式。只用一个模型，PhysLDM 就能一次性生成高分辨率可变形物体的整段仿真轨迹：重建精度达到毫米级，能零样本泛化到从未见过的物体，并且端到端可微。
论文标题：PhysLDM: Latent Diffusion for High-Fidelity Deformable Simulation
论文链接：https://arxiv.org/abs/2610.07609
项目主页：https://yucrazing.github.io/physldm/
物理仿真，为什么是神经网络的 “硬骨头”？
难点一：逐帧预测，越走越偏。主流神经仿真器（如 MeshGraphNets）用上一帧预测下一帧，误差逐帧累积，时间一长轨迹就会漂移。要根治这个问题，需要像视频生成那样，一次性生成整段轨迹。
难点二：一次性预测，规模爆炸。高保真形变仿真需要几千到上万个顶点的体网格，且不同物体的顶点数各不相同。几十帧、上万个顶点一起送进 Transformer，平方级的注意力复杂度根本扛不住：团队实测，即使在 140GB 显存的 H200 上，不做压缩时单个样本到 2,600 个顶点就会爆显存。
难点三：没有现成的时空压缩方案。此前物理仿真领域大多只压缩单帧，较少有人对整段轨迹做时空压缩；视频领域的时空 VAE，直接搬过来也不好用。
难点四：泛化差。神经仿真器长期被诟病 “换个物体就不灵”。
这四个难点环环相扣：要消除漂移，就得一次性预测；要一次性预测，就得时空压缩；而压缩不仅要准，还得能泛化。
先驱者的路：为物理仿真打造 “时空 VAE”
Stable Diffusion 背后，有一个把图像压缩到隐空间的 VAE。同样，要让扩散模型 “生成物理”，首先需要一个把整段仿真轨迹压缩得又小又准的时空 VAE，相当于物理仿真的 tokenizer。这是 PhysLDM 最核心、也是团队投入精力最多的部分。
这条路并不好走。最直接的做法是照搬视频 VAE 的时间压缩：每隔几帧合并成一个隐变量帧，再用上采样还原。结果物体的形变会 “停一下、再跳一下”，团队称之为 “台阶” 伪影。这种问题在静态截图里几乎看不出来，一播放却非常明显。
团队尝试了加入速度损失、频谱损失，以及让隐变量帧在时间上自适应分布，都无法消除它。另外，直接压缩世界坐标，几何细节会变得杂乱；让刚体运动和形变共用同一套时间压缩，平移误差会急剧增大，形变也被严重 “压扁”。
最终，PhysLDM 靠两个关键设计解决了问题：一是把每一帧拆成 “整体刚体运动 + 局部形变”，让网络专心学习只有几毫米的形变本身；二是整体式的时间压缩，用一组可学习的时间 query 汇总整段轨迹。无论物体有多少顶点，都被压缩成固定数量的 token，压缩率最高可达 78 倍。
为了解决泛化性，团队使用 GPU 有限元求解器 StiffGIPC，在 3 万多个 Objaverse 物体上生成了约 8 万条仿真轨迹。结果，时空 VAE 的平均重建误差仅 2.48 毫米。
在这个隐空间上，PhysLDM 再用扩散模型一次性生成整段轨迹。
强大的泛化能力：一个模型，见所未见
泛化差，是神经仿真器长期被诟病的问题，换一个物体往往就得重新训练。
PhysLDM 则用一个模型应对各种情况：在 Objaverse 上训练后，直接用到从未见过的 GSO、Toys4K 物体上，重建误差与训练分布内保持同一水平；面对超过训练顶点上限两倍多的高分辨率网格，误差仍只有约 5 毫米；换成另一种能量模型（ARAP）生成的运动，或真实采集的点云轨迹，零样本重建误差也分别只有 4.6 毫米和 6 毫米。
这得益于海量、多样的训练几何，以及只用运动学监督、不绑定任何本构模型的训练方式。
（更多重建与预测效果，可见项目主页视频：https://yucrazing.github.io/physldm/）
关键洞察：混沌世界里，扩散比回归更懂物理
该用确定性回归还是生成式扩散？对于物理仿真任务，这个问题一直没有准确答案。团队的答案来自一个反直觉的发现：即使是传统求解器，结果也不一定 “确定”。
同一个场景、字节级完全相同的输入，在 GPU 求解器上跑五次，最终状态明显不同，顶点最远相差 442 毫米。GPU 带来的极微小差异，被复杂形变的混沌特性迅速放大，变成了完全不同的结局。
面对多个可能的结局，回归模型会被拉向它们的 “平均值”，得到不符合物理的结果。比如一把掉落的钥匙，求解器两次运行分别向两个方向倒下；扩散模型的每个采样都落向其中一个正确方向，回归模型却给出一个两边都不像的 “平均”。实验中，PhysLDM 的物理一致性明显优于回归和自回归方法，其中自回归方法的误差接近 PhysLDM 的三倍。
不需要改动模型结构，PhysLDM 还能扩展到多物体场景。
潜力：不只是更快的仿真器
PhysLDM 端到端可微，并且支持高阶求导。只给一条运动轨迹，它能在约 40 秒内反推出物体的材料刚度，而现有可微仿真器要么需要手动调参、耗时二十多分钟，要么直接失败。它还能完成 “怎样扔一个物体最能看出它的材料” 这样的二阶优化，现有可微仿真器做同样的事需要好几天。
此外，前面提到的真实点云零样本重建，也展现出 PhysLDM 直接从真实世界中学习物理的潜力。
论文发布后，PhysLDM 在海外收到了不少研究者和从业者的积极反馈。一位机器人仿真从业者感慨：“我们要花好几个小时才能把物理效果调对，软体物理的自动化将会改变游戏规则。” 另一位研究者则认为，扩散模型正在经历一场 “模态爆炸”，而 PhysLDM 扩散的对象，正是 “可变形网格的运动轨迹” 这一新模态。
还有研究者指出，神经仿真虽然还没有被广泛使用，但潜力巨大：它可以在真实数据上微调、端到端可微、能在隐空间中做规划。其中端到端可微和从真实数据中学习这两点，PhysLDM 已经给出了初步验证。
总结
图像、视频、3D 渲染之后，PhysLDM 让高保真物理仿真也走上了生成式 AI 的道路：用时空 VAE 压缩整段轨迹，再用扩散模型一次生成，在毫米级重建精度上实现了零样本泛化，并揭示了在混沌的形变动力学中，扩散比回归更符合物理。这是迈向物理世界模型的重要一步。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
