看完RynnWorld-Teleop，我理解了为什么要把遥操作从机器人本体里拿出来。

高质量机器人轨迹仍然主要靠物理遥操作采集，每一条示教都绑定具体机器人、具体场地、具体物体，还要反复重置环境。算力和模型在扩，数据生产却还卡在人工工时和硬件吞吐上。

而过去两条相关路线都没有把这个问题真正打通。

一条路线做人到机器人的视频翻译，例如把人手视频“机器人化”，让画面里出现机械臂或机械手。这条路线能跨过视觉域差异，但它只改观测，不产生可恢复的机器人动作，无法直接拿去做 imitation learning，也谈不上闭环交互。

另一条路线做 action-conditioned 的第一视角世界模型，用手部控制信号生成未来视频。这条路线已经比纯视觉翻译更进一步，但大多仍是 human-centric，生成出来的还是人手视角和人手执行，不是机器人本体的执行视频，embodiment gap 还在。

近日，来自阿里巴巴达摩院、港中文具身智能实验室、湖畔实验室和蚂蚁集团的团队提出了RynnWorld-Teleop，这篇工作想解决的不是单个操作策略怎么训，而是机器人学习里更前面的瓶颈：数据怎么来。

RynnWorld-Teleop给出的判断很明确：如果数字遥操作真的要成立，一个系统必须同时满足三个条件。第一，robot-centric，操作者控制的是机器人而不是虚拟人手。第二，action-grounded，每一帧视频都要对应可恢复的关节级动作。第三，real-time，操作者必须一直在控制环里，能连续串联复杂技能。

• 论文标题：RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation
• 论文链接：https://arxiv.org/abs/2607.06558
• 项目主页： https://alibaba-damo-academy.github.io/RynnWorld-Teleop.github.io
• 代码： https://github.com/alibaba-damo-academy/RynnWorld-Teleop

它到底把什么变成了“数字遥操作”

RynnWorld-Teleop 的输入只有两样：一张目标场景的参考图像 ，以及操作者的手部姿态序列 。输出是一段机器人第一视角视频 。更关键的是，这条手势流本身还会通过 retargeting 变成具体机器人动作，所以最终拿到的是严格同步的  轨迹。

形式化地说，本工作建立在 Wan-I2V 的视频扩散架构上。给定真实视频的 latent ，前向路径采用 conditional flow matching：

这里  是 flow time， 是由真实视频编码得到的 clean latent， 是标准高斯噪声。于是训练时模型不是直接预测像素，而是预测这条 data-to-noise 路径上的速度场。损失写成

其中  是 denoiser 对应的速度场网络， 是参考图 latent， 是动作条件 latent。这个公式的要点是：本工作把 hand-pose control 真正接进了视频生成主干，而不是额外做一个后处理翻译器。

1. 深度感知的动作表示，不再把 3D 手势压扁成 2D 投影

如果只把手关键点投影到 2D 平面，深度信息会丢得很厉害，而机器人操作里的精细接触恰恰依赖这一点。本工作用 21 个关节点的手骨架序列作为动作中间表示，但不是简单画点画线，而是按相机深度去调节点和骨骼的颜色与粗细。

这一步的目标很直接：让 2D skeleton video 里显式携带 3D 空间提示。随后再用预训练 VAE 把这段骨架视频编码到 latent 空间，得到

其中  是通道数， 是时间长度， 是空间尺寸。这样  与视频 latent 在空间和时间上都对齐，后续 conditioning 才能做细粒度 grounding。

2. 真正起作用的是 distribution-aligned additive conditioning

动作条件怎么塞进 DiT，是这篇工作最关键的设计之一。本工作没有把 control latent 和视频 latent 直接拼接，而是引入一个并行的 control patch embedding 分支 ，与原本的视频 patch embedding  做加法融合：

这里  是送入 Transformer 的最终 token 表示， 是带噪视频 latent， 是经过分布对齐后的 control latent， 是 control latent 的运行均值和标准差， 是视频 latent 的运行均值和标准差， 是可学习门控系数。

这个式子里真正有用的地方有三层。

第一层，control latent 先做 distribution alignment，再进入 patchify。因为  和  来自不同模态，统计量差异很大，直接拼或直接加都会破坏底座视频模型的 latent 分布。

第二层，control 分支单独建 patch embedding，但用 additive fusion，而不是 concat fusion。这样保留了原始视频流的 token 结构，预训练先验不容易被打散。

第三层， 采用零初始化， 用很小的初值，比如 0.1。这样模型一开始近似退化回原始视频模型，然后再逐步学会使用姿态信号，而不是一上来就让新分支把生成先验冲垮。

这部分不是枝节。后面的消融表明，如果改成 concatenation，FVD 会从 585 恶化到 1191，几乎翻倍。

3. 人到机器人的两阶段训练，不是可选项

本工作把训练明确拆成两阶段。

第一阶段是 egocentric human pretraining。模型先在大规模人类第一视角操作视频上学 hand-object interaction prior，使用的数据包括 EgoDex 和 VITRA。EgoDex 被切成 81 帧片段，VITRA 切成 25 帧片段，并统一转换成成对的  序列。

第二阶段是 robotic domain adaptation。模型再在真实遥操作采集的人机配对数据上微调，把 human manipulation prior 迁移到具体机器人 embodiment 上。这里一共采了 1800 条真实示教，覆盖四个双臂操作任务。

这个工作在方法上反复强调一件事：人类数据不是辅助项，而是让世界模型学会“如何操作”的主要来源；机器人数据更多承担 embodiment adaptation 的角色。后面的消融也验证了这一点，去掉人类预训练后，FVD 会从 585 崩到 2598，LPIPS 从 0.151 恶化到 0.453，模型几乎失去可用的视觉和交互一致性。

使用的数据统计如下。

真实机器人数据的任务分布如下。

4. 为了实时闭环，它把双向 teacher 蒸馏成因果 student

原始 bidirectional teacher 生成质量高，但不适合低延迟流式控制。因此再做一层 autoregressive distillation，把 teacher 压成 causal student。

第一步是 causal streaming architecture。student 使用因果时间 mask，时间步  只能看 。为了降低延迟，它维护一个固定大小的 KV cache，并把初始参考图的 embedding 保留成 persistent sink token。这样即使持续自回归 rollout，参考图里的身份和场景信息也不会很快丢掉。

第二步是 causal flow-matching warm-up。student 先用因果版本的速度回归稳定下来，损失是

其中  是 clean sample， 是 time  的 noisy sample， 是高斯噪声， 是 student 预测的速度场。这个阶段的作用是先跨过 bidirectional 到 causal 的结构鸿沟。

第三步是 DMD refinement。为了把采样步数压到 4 步，这里再做 Distribution Matching Distillation，用冻结 teacher 和 learned critic 给 student 提供 score-based guidance。一个很关键的实现细节是，梯度会跨 chunk 通过 persisted KV cache 继续回传，用来抑制 chunk 边界的视觉断裂。本工作把这一点写得很实：它不是只追求 few-step sampling，而是要在持续流式 rollout 里保住时间连续性。

数字遥操作系统并不只是一套生成模型，它还有完整的动作生成链路

只会生成机器人视频，还不等于能产出 imitation learning 数据。本工作把 RynnWorld-Teleop 外面那条动作链也写完整了。

1. retargeting 先把人类动作映射成机器人末端目标

操作者身上佩戴 Vive trackers，位置包括胸口、双手腕和双上臂。对于每只手臂，先通过一个坐标变换链计算目标末端位姿：

其中  表示 tracker 空间里 wrist 相对 chest 的位姿， 只缩放平移分量，缩放因子记为 ，这里的示例是 ， 和  是把 tracker 坐标系对齐到机器人基座和末端执行器坐标系的固定标定变换。

这个式子给出的是“操作者想让手去哪里”，还不是关节角。

2. inverse kinematics 用阻尼最小二乘求关节更新

给定 6 维 task-space error ，用 iterative damped least squares 更新关节：

这里  是关节更新量， 是带阻尼的伪逆 Jacobian。它通过 SVD 写成

这里  是 SVD 的正交矩阵， 的对角元  是奇异值， 是阻尼系数。又把它做成自适应形式：

其中  是最小阻尼， 是当前 Jacobian 的最大奇异值。靠近奇异位形时，阻尼会增大，避免数值不稳定。

3. 上臂 tracker 提供 null-space shoulder prior，让姿态更自然

仅靠末端位姿 IK，手到位了，肩肘姿态未必自然。因此再利用上臂 tracker 构造 null-space shoulder prior。先把 arm tracker 位置变换到机器人坐标系，得到参考肘部位置，再在关节  的  子 Jacobian 上解一个 partial IK，得到肩部参考值 。最终更新写成

其中  是单位矩阵， 是当前关节配置， 是参考关节值， 是 null-space 项的权重，肩关节这里取 。每次积分后还会做 hard clipping 来满足关节限位。

这一整套 retargeting 最终输出 54 维机器人动作向量：双 7-DoF 手臂加双 20-DoF 灵巧手。于是操作者的同一条手势流，一方面驱动世界模型生成机器人第一视角视频，另一方面又能同步给出可执行的机器人动作标签。这正是“数字遥操作”能够直接产出 imitation learning 数据的基础。

4. 长时生成靠 chunked re-anchoring 抑制漂移

纯自回归长视频会积累视觉漂移和物理不一致。本工作不回避这个问题，而是显式采用 chunk-based generation。每个 chunk 长 81 帧。第一个 chunk 用 demo 的真实首帧作为参考图，后续每个 chunk 则用该时刻机器人相机的真实 egocentric frame 重新作为新的 。这里把这个机制叫 re-anchor。

这个设计很朴素，但作用很大。它相当于周期性把生成轨迹重新钉回真实动作轨迹，避免物体位姿、光照和场景状态在长时 rollout 里越飘越远。

5. 与传统仿真器相比，它省掉的是最贵的那几步

本工作把数字遥操作与传统物理仿真做了并列比较，结论有三点。

第一，它不需要为每个对象手工做 3D mesh 和 URDF。单张参考图就能实例化目标场景。

第二，它没有典型的 render domain gap。生成结果直接在真实像素分布里，复杂光照、反射和噪声天然保留。

第三，它不再显式做繁琐的 System Identification。通过大规模人类视频预训练，模型把接触和操作中的一些“物理常识”隐式吸收进了视觉生成先验里。

这三点合起来，才构成它作为“数据引擎”的价值，而不是仅仅作为一个好看的 video generator。

实验最重要的结论，不是画质更高，而是它真的能产出可迁移策略数据

1. 只看策略结果，这套系统已经证明生成数据是能用的

最强的实验结论其实不是 FVD，而是生成数据真的能训出能上真实机器人的策略。在四个任务上评估了 DP、 和  三种策略。每个任务都做 35 次真实世界试验，成功标准是 120 秒内完成目标。

先看结论：当 300 条真实示教再加 300 条 RynnWorld-Teleop 生成示教时，三种策略在几乎所有任务上都能继续提升，尤其 Lid Placement 这种高精度任务涨幅最明显。再看更硬的结论： 只用 300 条生成数据、不用任何真实数据，Block Pushing 还能做到 82.86%，Bimanual Lifting 还能做到 77.14%。这已经不是“可做数据增强”那么简单，而是说明生成数据本身具备相当强的可迁移性。

选四个真实任务也有针对性：Dual Picking 测双臂分工，Block Pushing 测时序交接，Bimanual Lifting 测双臂同步承载，Lid Placement 测高精度对齐。它们共同覆盖了数字遥操作最容易翻车的几类操作难点。

2. t-SNE 结果支持“生成分布靠近真实分布”这个说法

从真实示教和生成示教里各采样 1000 帧，用 I3D 提取高层语义特征，再做 t-SNE。结论是两者分布有明显重叠。这个结果本身不等价于策略一定能迁移，但它和前面的真实策略结果是互相支持的：如果高层视觉语义分布相差太大，zero-shot Sim2Real 不会这么容易成立。

3. 它作为 world model 的量化结果也确实强

在 EgoDex-Test 上，RynnWorld-Teleop 的 LoRA 版本已经把 FVD 做到 585，SFT 版本进一步到 550，显著优于 InterDyn 的 655、Mask2IV 的 1650 和 CosHand 的 1527。PSNR、SSIM、LPIPS 也都领先。

更重要的是，vanilla SFT 直接在同样人类和机器人数据上 fine-tune Wan-2.2-TI2V-5B，FVD 只能做到 1223，PSNR 只有 20.93。也就是说，性能差距并不是“你多训了点数据”，而是 conditioning 设计和训练流程本身确实改变了问题难度。

这里最值得注意的是 causal 版本。它的画质比 teacher 弱不少，FVD 也退化明显，但换来的是 40 FPS 的实时生成能力。这个 trade-off 并不漂亮，却很现实。数字遥操作要求操作者处在闭环里，所以 40 FPS 不是锦上添花，而是系统是否可交互的分界线。

4. 40 FPS 的实时性不是口号，它对应到每帧大约 25 ms

在单张 H100 上报告 40.0 FPS，分辨率是 。平均每帧延迟约 25 ms，其中骨架动作编码约占 5%，因果 DiT 去噪约占 72%，VAE 解码约占 23%。这个速度已经超过很多现有 action-conditioned world model 的 2 到 10 FPS 区间，也接近乃至超过常见机器人相机 30 Hz 的更新频率。

这意味着什么很直接：操作者看到的反馈不再是“半拍之后的视频”，而是能够维持连续控制的低延迟可视响应。

5. OOD 场景泛化说明这套系统真的把“单张参考图实例化新场景”做出来了

这里还测了两个 OOD 方向：未见物体和未见背景。做法是直接编辑参考图，比如把训练中没见过的球或新纹理桌布换进去，然后保持动作流不变。结果显示模型仍然能维持时序一致性和动作跟随。

这个实验的意义不在于“视觉编辑后还能生成”，而在于它支持了本工作的核心命题：数字遥操作可以由一张参考图来实例化新操作场景，而不需要真的去准备新的物理物体和新场地。

6. 消融实验把真正有效的三件事钉死了

第一，distribution-aligned additive fusion 是必要的。直接 concat 会破坏预训练 latent 分布，量化上 FVD 从 585 恶化到 1191，定性上也更不稳定。

第二，人类第一视角预训练是必要的。没有 Stage 1，人机 embodiment gap 根本跨不过去，模型连稳定的手物交互视觉都保不住。

第三，顺序蒸馏课程是必要的。只做 flow-matching 而不做 DMD，质量不够；直接跳过 causal warm-up 上 DMD，则训练会明显不稳定。换句话说，从双向 teacher 到实时 causal student，中间那座桥不能省。

这篇工作真正补上的缺口是什么

RynnWorld-Teleop 真正补上的不是“机器人视频生成”这一个点，而是把一套完整的数据生产链连起来了：人类动作采集、动作 retargeting、机器人第一视角视频生成、长时重锚定、以及最终可直接训练策略的同步轨迹产出。过去相关工作通常只覆盖这条链上的一段。

更具体地说，把两个原本分开的命题接上了。

一个命题是，世界模型能否生成足够逼真的机器人交互视频。

另一个命题是，生成出来的数据能否真的支撑 real-robot policy learning。

这篇工作给出的答案是肯定的，而且证据链是闭合的。它既有 world model 指标，也有真实机器人成功率，还给出了 zero-real-data 的策略结果。这比单独报 FVD 或单独做视频可视化都更有说服力。

但这篇工作也有两个边界。

第一，它依然依赖真实人类动作流和一套完整的动作采集硬件，包括 Vive tracker、数据手套和机器人侧的 IK/retargeting 管线。它替代的是“每条示教都要真机器人去执行”，不是“示教采集完全不要硬件”。

第二，长时一致性并不是被模型本身彻底解决，而是部分依赖了 81 帧 chunk 和真实帧 re-anchor。这个做法很实用，但也说明长期开放环生成仍然不够稳。

写在最后

这篇工作最亮的地方，是它把 digital teleoperation 从一句概念口号做成了一条真能产出训练数据的工程闭环。核心不是“用 world model 生成点机器人视频”，而是生成结果和动作标签严格对齐，最终能在真实机器人策略上兑现成功率提升，甚至能在零真实数据条件下训出有用策略。

方法上，真正支撑这件事成立的是三根柱子。第一根是 depth-aware skeleton representation，让动作条件里保留 3D 接触线索。第二根是 distribution-aligned additive conditioning，让姿态信号接进大模型而不摧毁原有生成先验。第三根是 progressive human-to-robot training 加 sequential distillation，把大规模人类操作先验转移到机器人 embodiment，再压成可实时控制的 causal generator。这三步缺一不可，消融已经说明了这一点。

我对这篇工作的判断是，它比很多“机器人世界模型”工作更接近数据基础设施，而不是单纯的生成模型展示。它没有完全摆脱真实硬件，也没有彻底解决长时漂移，但它第一次把“人类动作流 + 单张参考图 + 世界模型”这条路线，做成了能服务 real-robot learning 的实用数据引擎。

 推荐阅读 ：