北京大学：
《生成未必理解：基于扩散模型能否实现视觉世界模型》

（完整版.pdf ）
以下仅展示部分内容
下载方式见文末

《基于扩散模型能否实现视觉世界模型？》
核心内容速览

一、核心问题
扩散模型“生成”了逼真图像/视频，但它真的“理解”视觉世界吗？
→ 生成 ≠ 理解，二者技术路线长期割裂。

二、现状诊断

1. 生成路线
   • 模型：Stable Diffusion、Open-Sora、DALL-E 2/3、Sora …
   • 技术：Latent Diffusion、DiT、ControlNet、T2I-Adapter
   • 典型缺陷
   – 物理常识缺失：水先撒后杯子才碎（违反因果）
   – 对象一致性差：小狼数量在 3-5 只间跳动

2. 理解路线
   • 模型：LLaVA、Video-LLaVA、Chat-UniVi …
   • 技术：自回归大语言模型 + Vision Encoder
   • 特点：可问答、可推理，但不做高保真生成

三、关键差距

结论：两条路线“生成未必理解，理解不能生成”。

四、破局方向——统一的世界模型

1. 目标：同一套骨干网络同时完成“视觉理解 + 视觉生成”。

2. 三条技术路径
   ① 扩散框架内引入物理/几何先验
   – ViewCrafter：相机位姿→4D 场景生成（开源）
   – HoloDreamer：全景图→3D 乐高世界
   ② 自回归框架升级
   – VAR：按“分辨率递进”而非“token 递进”生成图像
   – VideoPoet：LLM 直接自回归出视频 token
   ③ 原生统一架构（端到端）
   – Janus-Pro：同一 Transformer 解码器，任务路由到不同专家头
   – Flow-World：基于流模型的统一多模态框架（研发中）

五、北大团队开源动作
• 11.7k⭐ Open-Sora Plan：
– 支持 10 s 1080 p 任意分辨率/帧率
– 已开放 3D 因果 VAE、稀疏注意力、图生视频、视频续写等模块
– 昇腾 NPU 原生优化，单周访问 14 万+，GitHub Trending 全球第一
• 代码/模型总入口：https://github.com/PKU-YuanGroup

六、技术配套
• 训练框架：PyTorch→TorchNPU 两行代码迁移
• 调优工具：MindStudio Insight / MindSpeed / MSProbe
• 统一注意力：MoE++、MoH（混合专家+混合头）在 DiT/LLM 上同等有效

七、关键结论

1. 扩散尚未收敛，自回归+混合架构同样有机会。

2. 世界模型的未来一定是“理解-生成”统一大模型。

3. 开源社区与国产算力协同，能把 Sora 级能力“白菜化”。

资料下载方式

Download method of report materials