FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了

FastH3 Omni 官方演示视频截帧

北京时间 10 月 21 日凌晨 3 点 22 分，加州大学圣地亚哥分校（UCSD）的 Hao AI Lab 在 X 上宣布：旗下开源项目 FastVideo 开源 FastH3 Omni，这是 MiniMax 视频模型 MiniMax-H3 的蒸馏加速版，连训练代码一起放出。

先认识一下两边。Hao AI Lab 是 UCSD 的一个实验室，自我介绍是“让大模型、算法和背后的系统人人可用”，FastVideo 是他们做的视频生成后训练与实时推理框架。MiniMax 是国内的 AI 公司，H3 是它开放权重的音视频生成模型，FastH3 系列的权重都沿用 MiniMax-H3 社区许可证。

项目地址（GitHub）

https://github.com/hao-ai-lab/FastVideo

官方帖子里列了这几条：

• 实时生成，在 NVIDIA Blackwell 上快 12 倍（官方帖说法，仓库文档里没有找到这个数的测试细节）；

• 提供 NVFP4 / FP8 版本，面向 DGX Spark 和 RTX 显卡；

• ComfyUI 首日支持；

• 与 NVIDIA、Nuva Lab、Reactor 合作完成。

FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了图2

官方演示：一张照片 + 一句提示词 + 两段声音，生成带配音的动画片段

一、它能做什么

一句话：给一段文字，再给几张图、几段视频或几段音频当“参考”，它直接生成带同步声音的视频。按 Hugging Face 模型页和仓库文档：

• 参考素材最多 9 张图、3 段视频、3 段音频，合计不超过 12 个，至少要有一张图或一段视频；提示词里用 <Picture 1>、<Video 1>、<Audio 1> 指代对应素材。

• 输出 24 fps 视频，配 32 kHz 立体声。

• 片长可选 124、243 或 362 帧，即 5、10 或 15 秒。

• 采样只需 8 次 Transformer 前向，guidance 为 1.0（不需要额外跑一遍无条件分支）。

FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了图3

演示视频截帧：生成画面带字幕与配音

这不是 FastH3 的第一个版本。仓库新闻记录：8 月 27 日发布 4 步的 FastH3 Preview v1，9 月 15 日发布 8 步的 FastH3 8-Step V2，10 月 6 日让 V2 跑上 RTX 5090、4090、RTX PRO 6000、DGX Spark 和苹果芯片。这次的 Omni 把“多种参考素材”加了进来。

FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了图4

FastVideo 的 GitHub 仓库页（截图时最新提交为“Add H3 PDD/DMPDD training”）

二、它是怎么蒸馏出来的

原版扩散模型要一步步去噪，步数多就慢。FastH3 Omni 用的是一种叫 PDD（Parallel Decoding Distillation，并行解码蒸馏）的方法，代码在 fastvideo/layers/pdd.py。

FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了图5

pdd.py 开头对 PDD 的说明

说白了：把模型最后的输出层“加宽”，一次前向不只预测一个去噪方向，而是同时给出 32 个小时间段各自的预测。推理时把相邻 4 个合成一块，所以 32 个小段只要 8 次前向就走完。合并是在线性层内部完成的，不需要真的把 32 份预测都算出来。

训练用的是 DMPDD（分布匹配 + PDD）。配置文件里有三个角色：

FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了图6

dmpdd_ref2va.yaml：学生、老师、评论家三个模型

• 学生（student）：要被训练的快模型，32 个输出头，用稀疏注意力 VIDEO_SPARSE_ATTN_H3；

• 老师（teacher）：冻结的原版 H3，不更新；

• 评论家（critic）：可训练，用来判断学生生成的分布和老师差多少。

三者都从同一个 MiniMax-H3 Ref2VA 权重初始化。文档说明，示例按 4 次评论家更新配 1 次学生更新交替进行，PDD 头部损失权重 0.3，示例用 8 张卡（序列并行 8、FSDP 8）；最低显存需求官方写明“尚未确定”。训练完可以用 dcp_to_diffusers 导出可部署的学生模型。

三、H3 模型是怎么被加载的

一个巧妙的设计：蒸馏导出的包里只放蒸馏改过的部分，也就是 transformer_ref（加宽的输出头和训练过的稀疏注意力门）、两个调度器配置，以及一个叫 fastvideo_inference.json 的“采样合约”。文本编码器、分词器、处理器和两个 VAE 都直接用原版 MiniMax-H3 的。

FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了图7

basic_fasth3_omniref_pdd.py：把蒸馏导出与原版 H3 拼成一个模型目录

推理脚本会分别从 Hugging Face 下载这两份，然后用符号链接拼成一个完整目录，不复制大文件。合约里还写死了原版 H3 的具体版本号（hf://MiniMaxAI/MiniMax-H3@某个提交），保证拼起来的组件和训练时一致。

FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了图8

minimax_h3_pipeline.py：Ref2VA 管线把 transformer 映射到 transformer_ref

管线这边，MiniMaxH3Ref2VAModularPipeline 读取 H3 权重里的 transformer_ref 分区，依次跑输入准备、条件编码、潜变量准备、去噪、视频解码和音频解码。合约在加载任何权重之前就被读取并校验：步数、注意力后端、分块大小等对不上会直接报错，避免“跑得出来但结果不对”。

四、真实用法

仓库给了现成的设备配置：spark（DGX Spark）、rtx-pro-6000、rtx-5090 用 NVFP4 版，rtx-4090 没有 FP4 硬件，用 FP8 版。命令行一条即可：

python examples/inference/basic/basic_fasth3_omniref_pdd.py --model-path <导出目录或 HF 仓库名> --image reference.png --audio voice.wav --prompt "a person on a sofa, lit by a warm lamp, speaking to camera" --profile spark

也可以写成 YAML 配置，用 fastvideo generate --config 运行。下面是 DGX Spark 配置里的请求部分：

FastH3 Omni开源：MiniMax H3蒸馏版8步出片，训练代码也给了图9

basic_fasth3_omniref_spark.yaml：一张参考图，480×832，124 帧，24 fps，8 步

显存方面：96 GB 的 RTX PRO 6000 和 128 GB 统一内存的 DGX Spark 能把整个模型放在显存里；32 GB 的 5090 要把文本编码器挪出去；24 GB 的 4090 要分层流式加载。速度方面，文档给的数据是数据中心卡 GB200：480×832、124 帧单卡 8 次前向约 54 秒；768×1344、345 帧用 4 卡约 36 秒，均不含加载和解码时间。

不想写代码的话，Hugging Face 上有 ComfyUI 版（BF16、INT8，另有 FP8 和 NVFP4 QAD 版），需要支持 MiniMax-H3 的新版 ComfyUI 和 “MiniMax H3 Reference to Video” 节点。