点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
一、点跟踪的天花板：只知道“去哪儿”，不知道“怎么转”
从单目视频中理解场景如何运动，是计算机视觉的基础问题，支撑着从物理推理到机器人操作的大量应用。运动估计的精度和丰富程度，直接决定了下游系统能做什么。
过去十年，这个领域经历了一条清晰的演进路径：从短程光流，到长程2D点跟踪，再到由几何基础模型驱动的3D点跟踪。每一步都在把运动估计推向更长的时间跨度和更强的空间接地。然而，这些表示始终停留在较低的层级：每个像素的轨迹不过是一条3DoF的平移曲线——它记录了像素去了哪里，却没有捕捉底层部件的旋转，也没有说明哪些像素作为同一个刚体一起运动。
这个局限在实际应用中变得非常具体。一个机器人要打开一扇铰链门，它需要的是门的旋转轴和关节角度，而不是一百万个表面点的轨迹。信号确实存在于当前的跟踪器中，但它被埋在单个点的层级上，没有被组织成可直接使用的形式。物理推理、操作和铰接物体理解所需要的，是一种更结构化、更紧凑的运动表示。
图1 展示了MoSE3的核心能力。它从单目视频中估计稠密SE(3)运动，在共享世界坐标系中为每个像素预测3D旋转和平移，捕捉刚体和铰接运动（左）以及可变形运动（右）。彩色坐标轴可视化采样点处的预测局部变换；插图显示输入帧和学习到的刚性嵌入。
二、SE(3)预测的“三座大山”：流形回归难、标注稀缺、耦合复杂
论文指出，直接从RGB视频预测世界坐标系下的SE(3)运动，长期未能实现，原因有三。
第一，动态场景的几何和相机运动本身就是一个开放问题，直到近期才由VGGT、π³等几何基础模型提供了可行的解决方案。第二，直接的SE(3)回归泛化性差——旋转位于弯曲的流形上，不适合欧几里得回归，而SE(3)标注尤其难以获取。第三，长程场景SE(3)标注极其稀缺——即使3D轨迹的真值也主要局限于合成数据，而大多数这类数据集完全缺少SE(3)标签。
先前恢复SE(3)的方法要么局限于已知CAD模型的单个刚体或需要深度传感器，要么依赖参数化人体模型，要么依赖缓慢的逐视频优化。没有一个方法能够从野外单目RGB视频中，以馈送式的方式预测稠密的、世界坐标系的SE(3)运动。
论文的核心洞察是：与其直接回归SE(3)，不如将它分解为两个更容易学习、更容易泛化的中间量——稠密3D点轨迹和刚性嵌入。3D点轨迹告诉模型“每个点去了哪里”，刚性嵌入告诉模型“哪些点一起运动”。两者结合，SE(3)可以通过可微的加权Horn拟合在每个软刚性簇内解析恢复。这一分解使得利用更丰富的3D跟踪监督成为可能，并通过可微的SE(3)恢复端到端训练嵌入。
三、方法：两个中间量 + 一个可微闭式拟合
MoSE3构建在π³骨干之上，引入两个额外的预测头：稠密点跟踪头和刚性嵌入头。从这些预测中，逐像素SE(3)可以闭式恢复。
SE(3)预测的分解表述
给定N帧输入图像和查询帧索引 ，目标是预测世界坐标系下稠密刚体变换序列 ，
其中:
。
对于查询帧像素 ，其SE(3)运动通过Horn方法闭式恢复：
其中软权重 是刚性嵌入内积上的温度- softmax：
直观上， 衡量 与 一起运动的刚性程度，因此式中的对齐将 软拟合到 的刚性邻居的轨迹。加权Horn优化是闭式且可微的，因此SE(3)监督可以流回点跟踪和刚性嵌入两个预测。
图2展示了MoSE3的方法概览。MoSE3扩展了冻结的π³骨干，添加可训练的跟踪分支预测稠密3D点轨迹和刚性嵌入。逐像素SE(3)运动随后通过世界坐标系轨迹上的加权Horn拟合闭式恢复，权重由刚性嵌入相似度给出。由于Horn拟合可微，稠密SE(3)预测与轨迹和刚性嵌入端到端联合监督。
联合监督：轨迹、刚性嵌入与SE(3)
给定查询帧 ，模型预测每个目标帧 局部相机坐标下的3D点轨迹图 、可见性logits 和刚性嵌入 。π³额外预测点图 和相机到世界位姿 ，给出 。
跟踪损失方面，论文将每个3D轨迹位置参数化为归一化图像坐标 和有符号深度 ，通过π³预测点图拟合的焦距提升到 。归一化图像坐标用 损失监督，场景尺度对齐深度用逆深度加权 损失监督，另加查询帧表面梯度损失和时间位移损失：
刚性嵌入损失通过两个软亲和力目标监督。SE(3)亲和力损失仅在SE(3)标签可用时应用，利用查询相对的真值世界变换定义亲和力矩阵，通过连续变化的运动轨迹差异而非硬刚性类目标来监督。跟踪亲和力损失不需要任何SE(3)或刚体标签，利用真值轨迹对在时间上的距离展开度定义亲和力，为所有具有可见性和相机标注的跟踪数据提供跨帧距离保持线索。
SE(3)损失在SE(3)真值可用时直接监督恢复的变换，结合测地角度损失和Huber平移损失。
总目标为加权和：
其中 ，，，。
架构：几何接地的跟踪分支
MoSE3在π³的冻结几何分支旁附加了一个可训练跟踪分支。π³-Large有36个解码器层，编码器和解码器层0-9共享且冻结，层10-35由一个26层可训练跟踪分支并行处理，每个跟踪分支块从同层π³解码器对应块初始化。跟踪token在每个跟踪分支层后关注π³的几何token，使跟踪分支在网络中始终可以访问具体的几何信号。
点跟踪头由10个transformer块组成，交替进行帧内和全局自注意力，通过AdaLN根据查询帧身份条件化。刚性嵌入头从相同的跟踪分支特征输出 ，但与查询帧无关，因为刚体身份是场景的属性而非查询的属性。
四、Art-Kubric：填补铰接SE(3)监督的空白
现有合成跟踪语料要么只有刚体，要么以蒙皮人体和动物为主，缺乏分段刚性部件。刚体场景可以通过从轨迹和实例掩码拟合变换来提供逐物体SE(3)标签，但这在铰接场景下失效——一个物体的多个连杆共享单个实例标签，拟合变换会坍缩子物体运动。铰接数据集要么覆盖少量物体模板，要么一次只放置一个铰接物体并采样关节角度驱动，没有第二个物体需要嵌入保持分离。
Art-Kubric是第一个将铰接多连杆运动、物理驱动的物体间接触和精确的逐连杆SE(3)真值在大规模上结合的数据集。它包含5,000个场景，13-30个刚体和铰接物体，约三分之二处于运动中，被移动相机在纹理化环境中观察。每个场景导出深度、表面法线、三级粒度分割和完整相机参数。总计1.63亿条轨迹，每条携带其刚体组标签、逐帧遮挡标志和每个帧的连杆SE(3)变换。
图3展示了Art-Kubric概览。两个示例场景，每行一个。列1-3：从片段中采样的三帧RGB。列4-7（在第三帧渲染的标注）：按父刚体着色的采样长程3D轨迹、稀疏锚点处的逐像素SE(3)运动作为旋转坐标帧、刚性部件分割（按共享刚体变换的逐像素分区）和深度。
Art-Kubric的刚体分组与实例分割在两个方向上都有所不同：一个柜子的连杆落入不同组，而每个静止的物体与地板合并为一组。它提供了MoSE3框架所需的铰接SE(3)监督，消融实验确认了其对模型性能的贡献。
下表对比了点跟踪和铰接数据集的监督信号。Art-Kubric是唯一同时提供物理多体交互、铰接多连杆、长程轨迹、3D轨迹真值、逐连杆SE(3)、刚性分组和相机多样性的数据集。
五、实验：从像素到物体级，SE(3)估计全面领先
论文在HO3D（真实手-物交互）、iTACO（合成铰接物体）和YCBInEOAT（真实机器人操作）上评估SE(3)估计，在PointOdyssey、ADT和PStudio上评估3D点跟踪。
SE(3)估计
下表展示了HO3D和iTACO上的SE(3)估计结果。逐像素SE(3)评估每个像素的刚体变换；物体/部件级SE(3)将像素聚类为刚体并恢复每个簇一个变换，用IoU与真值刚性掩码比较。MoSE3在像素级和物体/部件级都取得最佳结果，首次在刚性物体上达到强性能，同时将同一能力扩展到铰接物体。
下表 展示了YCBInEOAT上的SE(3)估计结果，MoSE3在每个指标的两种粒度上都取得最佳结果。
3D点跟踪
下表 展示了世界坐标系下的3D点跟踪结果。MoSE3在L-16和L-50两个时间跨度上都取得最佳平均精度，并在每个数据集和时间跨度上都取得最佳结果（ADT L-16除外，排名第二）。
下表 展示了相机坐标系和世界坐标系下的完整3D点跟踪结果，MoSE3在两种坐标系下都取得最佳平均精度。
消融实验
下表在iTACO上展示了逐像素SE(3)的消融实验。直接SE(3)回归（不经过轨迹和刚性嵌入分解）退化SE(3)精度且泛化差，因为直接回归必须从稀缺的SE(3)标签学习高维流形约束输出。移除Art-Kubric在iTACO上退化SE(3)精度，在HO3D上则仅降低聚类IoU，因为Kubric已经提供了稠密SE(3)和刚体监督，足以处理HO3D的单个刚体，但不足以处理iTACO的铰接多体场景。仅训练轨迹并通过后处理恢复SE(3)（k-NN聚类或借用完整模型的刚性嵌入聚类）都低于完整模型，表明联合训练通过更好的轨迹而非仅更好的刚性分组来提升SE(3)精度。移除刚性损失和移除SE(3)损失都退化SE(3)精度，其中SE(3)损失影响更大，确认直接端到端监督是SE(3)学习的最强驱动力。
图4 展示了野外视频上的定性结果。MoSE3泛化到分布外的真实场景，涵盖刚性和非刚性情况。每个片段的三列是三个时间步：顶行显示预测的逐像素SE(3)运动，底行显示预测的刚性嵌入。
图5 展示了与ProxyPose在野外视频上的定性对比。MoSE3在刚性和可变形场景中都产生更稳定和连贯的坐标轴。
六、从代码到实验：快速上手MoSE3
代码仓库https://github.com/mose3-tracker/MoSE3已公开，包含推理代码、模型权重和交互式3D查看器。
安装方面，克隆仓库并创建Conda环境：
git clone https://github.com/mose3-tracker/MoSE3.git
cd MoSE3
conda create -n mose3 python=3.10 -y
conda activate mose3
pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126
pip install -r requirements.txt
pip install -r requirements_demo.txt # 可选：交互式3D查看器
pip install -e .
无需自定义CUDA扩展。pip install -e . 使 mose3 可以从任何位置导入。
模型权重从Hugging Face下载：
hf download JoannaCCCCCC/MoSE3 --local-dir ckpt
推理方面，运行视频→输出的端到端流程：
python inference.py --ckpt ckpt --video examples/spin.mp4 --num_frames 40
这会生成 outputs/spin/predictions.npz，包含所有预测。SE(3)拟合中 --num_ref_pts（默认12000）是每个拟合池化的查询帧像素数。对于局部变形的表面如布料，添加 --se3_dist_weight 以按像素距离加权池化。
可视化方面，生成2D可视化视频：
python visualize.py --clip outputs/spin
这会输出 query_points.png（查询帧上的点网格）、tracks.mp4（预测的3D轨迹及渐隐尾迹）、se3.mp4（每个点的SE(3)运动作为移动的x/y/z坐标帧）和 rigidity.mp4（刚性嵌入的PCA→RGB可视化）。
交互式3D查看器通过以下命令启动：
python visualize_viser.py --clip outputs/spin --port 8080
在浏览器中打开 http://localhost:8080，可以将稠密轨迹作为移动的3D点云查看，按RGB或刚性嵌入着色，并带有相同的SE(3)坐标帧和轨迹尾迹。
Python API方面，可以直接在代码中使用：
import torch
from mose3.models.mose3 import MoSE3
from mose3.utils.per_point_se3 import fit_per_pixel_se3
model = MoSE3.from_pretrained("ckpt", strict=True).cuda().eval()
imgs = ... # (1, N, 3, H, W) float in [0, 1]
with torch.no_grad(), torch.autocast("cuda", dtype=torch.bfloat16):
out = model(imgs, query_frame_idx=0)
tracks_local = out["tracks_local"][0].float() # (N, H, W, 3)
rigidity_emb = out["rigidity_emb"][0].float() # (N, H, W, 16)
数据集方面，Art-Kubric数据集和生成管线已公开发布。数据集托管在Hugging Face，包含5,000个场景，每个场景120帧、512×512分辨率、60 fps、32,768条轨迹，总计约1.63亿条长程轨迹。生成管线允许社区在自定义光照、场景和资产分布下重新渲染新片段。
许可证方面，代码采用开源许可。模型权重包含π³的权重，采用CC BY-NC 4.0许可，商业使用前需仔细阅读相关条款。
七、局限与未来方向
论文坦诚地指出了当前方法的局限。MoSE3依赖π³提供相机几何，使用其相机位姿组合世界坐标系运动，使用其点图拟合相机内参，因此任一环节的误差都会传播到恢复的SE(3)中。此外，由于SE(3)是从点轨迹和刚性嵌入恢复而非直接回归，当这些中间量退化时精度会下降，在快速运动下尤为明显。最后，论文仅对可变形场景进行了定性评估，定量基准留待未来工作。
项目主页上还列出了更具体的失败模式：运动太快导致轨迹无法跟随时（碰撞、弹跳、杂耍球），表面被拉伸或折叠以至于没有刚性片断可供拟合时，以及细长、重复结构或长时间遮挡打断轨迹时。
写在最后
MoSE3的核心贡献不在于提出更复杂的网络架构，而在于用SE(3)分解重新定义了单目视频运动估计的输出表示。将SE(3)预测分解为3D点轨迹和刚性嵌入两个中间量，通过可微闭式Horn拟合连接，既绕开了旋转流形回归的困难，又利用了更丰富的点跟踪监督，还让网络能够从稀缺的SE(3)标注中端到端学习。
论文最值得关注的数字是6DoF和1.63亿。6DoF是每个像素携带的完整运动信息——旋转、平移和分组一次性给出，这是物理推理和机器人操作真正需要的表示。1.63亿是Art-Kubric数据集中的长程轨迹数量，每条都携带刚体组标签和逐帧连杆SE(3)变换，填补了铰接SE(3)监督的空白。
从更宏观的视角看，MoSE3代表了一类新的思路：用结构化中间表示解耦困难的高维预测问题。不是直接回归SE(3)，而是学习两个更容易监督的中间量，然后解析恢复目标。这种“分解-恢复”的范式不仅让训练更有效，还让表示更具可解释性——刚性嵌入直接编码了“哪些像素一起运动”这一物理上可解释的信息。对于正在探索4D重建和物理推理的研究者而言，这种设计哲学可能比具体的架构选择更具启发意义。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
