点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
3D视觉工坊很荣幸邀请到了UC Davis博士研究生周寒初，为大家着重分享他们团队的工作。如果您有相关内容需要分享，欢迎文末联系我们。
直播信息
时间
2026年10月19日(周一)上午11：00
主题
将触觉融入世界动作模型，快速而强力的Agile-WAM
直播平台
3D视觉工坊视频号
点击按钮预约直播
3D视觉工坊哔哩哔哩也将同步直播
主讲嘉宾
周寒初
现为UC Davis博士研究生，师从Junshan Zhang教授，本科毕业于浙江大学控制学院。研究方向为机器人，世界模型和强化学习。他曾在Analog Devices担任研究实习生，主导触觉世界动作模型的研究。
个人主页: https://hanchuzhou.github.io/
直播大纲
触觉与世界动作模型研究现状 存在的问题 Agile-WAM架构解析 实验结果与分析
参与方式
一、触觉世界模型困于大模型
世界动作模型正在改变机器人学习的范式。传统模仿学习只学“看到什么就做什么”，强化学习则在试错中摸索奖励；而WAM把“世界会怎么变”和“我该怎么做”放在同一个框架里联合学习。模型在预测未来观测的过程中，被迫捕捉场景中稠密的时空信息——运动、接触、物体之间的相互作用——这些信息反过来让动作生成更有前瞻性，也更符合物理世界的演化规律。
但物理交互并不完全可见于视觉。接触丰富操作是这个问题最尖锐的体现：视觉上几乎相同的两帧画面，可能对应完全不同的物理状态——末端执行器是轻轻碰到了刚性物体，还是已经施加了明显的力？这些任务需要精细的动作调整，而视觉差异往往微乎其微。触觉传感因此成为不可或缺的补充通道，它直接捕捉局部接触、力和滑动。
近期的研究开始把触觉引入世界动作建模，通过扩展大规模预训练视频生成模型，加入触觉观测和动作。这些早期尝试证明了显式建模触觉动力学对接触丰富操作有益。但依赖大预训练骨干带来了显著的推理计算和内存开销，限制了在机载资源受限、控制频率要求高的机器人平台上的部署。
文章提出了一个直接的问题：能不能做一个敏捷的、以触觉为中心的世界动作模型，既保留世界模型的预测收益，又能在不同机器人平台上灵活部署？
图1展示了Agile-WAM的整体框架。它接收多模态输入（视觉和触觉观测），通过直接的vision-tactile-to-action flow-matching骨干进行联合的动作-视觉-触觉预测。为了给未来潜在预测提供有效监督，Agile-WAM引入多尺度多模态预测，在不同时间跨度上联合预测视觉和触觉潜在表示。通过捕捉两种模态不同的时间动态，Agile-WAM让物理动力学建模更好地与动作生成对齐，实现更精确、更细粒度的操作。
二、核心洞察
文章的出发点是一个被忽视的物理事实：视觉和触觉观测以本质不同的时间尺度演化。
视觉外观通常变化平滑而缓慢，相邻视觉帧高度冗余——把两帧连续图像放在一起，像素级差异往往很小。而触觉力场信号在接触瞬间可能急剧变化：机器人末端执行器刚碰到物体表面，力场从零跳到一个显著值，可能只隔一帧。对两种模态施加相同的预测跨度，会产生错配的学习信号：短视觉跨度由于相邻帧变化有限，只能提供琐碎的监督；长触觉跨度则会模糊掉精确控制所需的细粒度接触动态。
文章的解决方案是多尺度多模态预测。视觉预测在较大的时间偏移上监督，此时观测变化更明显，鼓励模型捕捉有意义的视觉动态。触觉预测则瞄准下一帧相邻观测，让模型跟踪快速的接触变化而不跳过细粒度触觉过渡。这种分离的监督机制更好地匹配每种模态的时间特性，支撑精确的接触丰富操作。
这个洞察看似简单，但它解释了一个此前被大模型规模掩盖的问题：不是模型不够大，而是监督信号的时间尺度不对。
图2展示了Agile-WAM的概览。Agile-WAM将视觉、触觉和本体感知观测编码到一个共享潜在空间，作为轻量级vision-tactile-to-action flow-matching骨干的源。流联合生成动作块以及未来视觉和触觉观测的潜在表示。动作自编码器提供结构化的动作潜在空间，而多尺度多模态预测对视觉使用较长跨度、对触觉反馈使用较短跨度，以捕捉它们不同的时间动态。模型端到端训练，使用流匹配、动作重建和生成、以及视觉/触觉潜在预测损失。
三、方法
从观测到动作-视觉-触觉联合预测
在环境步 ，机器人接收多模态观测 ，其中 是视觉观测， 是触觉力场， 是机器人本体感知状态。策略 联合建模动作块和两种模态的未来演化，其中 是预测跨度为 的动作块，只有前 个动作在执行器重规划之前被执行。 包含未来观测的潜在表示。
传统flow-based策略通常从随机高斯噪声开始，通过交叉注意力等条件模块反复注入观测。Agile-WAM的骨干直接使用当前多模态观测的潜在表示作为流的唯一源，消除了生成过程中显式条件机制的需要。这大幅简化了生成过程，降低了计算开销，提升了推理效率。
具体来说，文章使用学习到的编码器分别编码图像和触觉力场观测，融合为观测潜在 作为流的源。流的目标分为动作和未来多模态观测：。源和目标被构造成相同维度，这是流匹配的要求。对于流时间 ，定义线性插值：
目标速度为 。轻量级流网络 学习vision-tactile-to-action速度场：
由于感官信息已经嵌入源 ， 在ODE积分期间不需要额外的观测条件模块。推理时，当前观测被编码一次到 ，然后从 到 求解：
这产生预测的联合潜在 ，从中解码动作块并执行。
架构设计：多模态编码 + 动作自编码器 + 轻量流网络
多模态观测编码方面，学习到的视觉编码器和触觉编码器分别从当前RGB图像和触觉力场信号提取表示。它们的特征与本体感知状态拼接，随后通过线性投影融合为源潜在 。视觉和触觉信息在流的开始一次性融入，后续生成过程直接在融合潜在空间中操作，无需反复注入条件。
潜在动作表示方面，受VITA启发，文章引入动作编码器 和解码器 构建结构化的潜在动作空间：
动作自编码器与策略端到端训练，使用重建损失：
推理时，动作解码器接收ODE生成的潜在 而非编码器生成的目标 。为了让解码器与通过流匹配生成的动作潜在对齐，训练时额外解码ODE生成的潜在以提供动作空间监督：
该目标的梯度通过动作解码器和ODE积分过程传播，直接将生成的潜在锚定到可执行的真值动作。两个损失共同稳定学习到的动作表示，同时减少训练时目标潜在与推理时生成潜在之间的差异。
多尺度多模态预测：视觉看远，触觉看近
连续视觉观测由于场景外观变化相对平滑，往往表现出大量冗余。触觉信号则在机器人建立接触或遇到阻力时在短时间内急剧变化。因此，对两种模态施加相同的预测跨度会导致错配的学习信号。
文章引入多尺度多模态预测。不是在同一未来步预测视觉和触觉潜在，而是构造不同的目标潜在：
在设计中，触觉预测聚焦下一未来帧，即 ；视觉预测使用更长的时间偏移 ，匹配推理时执行的动作长度。更长的视觉跨度鼓励模型捕捉有意义的场景演化，而不是坍缩到复制当前帧；更短的触觉跨度保留急剧变化的接触信息。
求解流ODE后，预测的联合潜在被分解为动作、视觉和触觉分量。多模态未来预测在潜在空间中监督：
与像素级重建不同，潜在预测提供了紧凑的学习目标，鼓励共享流表示捕捉两种模态的任务相关演化，而无需昂贵的高维观测生成。
完整训练目标是五个损失的加权组合：
通过这种联合优化，Agile-WAM学习到一个紧凑的流表示，同时捕捉多模态世界建模并生成高质量的动作序列。
四、实验
文章在9个仿真和5个真实世界接触丰富操作任务上评估Agile-WAM。仿真实验使用ManiFeel，一个全面的触觉操作策略学习基准，提供真实的触觉仿真和触觉反馈至关重要的挑战性任务。平台使用7自由度Franka Emika Panda机器人，夹爪上装有TacFF传感器，分辨率为 ，每个传感点测量力的大小和沿 、 轴的方向，产生 的触觉观测。每个任务使用官方数据集的20-50条演示进行训练。遵循基准的标准设置，训练和评估只使用 的手腕相机。由于手腕相机视角在夹爪与目标物体交互时经常被遮挡，这一设置凸显了触觉反馈的重要性。
真实世界实验使用7自由度Flexiv Rizon 4机器人评估五个挑战性任务：齿轮装配、销钉插入、网线插入、网线拔出、电源插头插入。
图3展示了五个真实世界任务：齿轮装配、销钉插入、网线插入、网线拔出、电源插头插入。
视觉观测使用Intel RealSense D405 RGB-D手腕相机，分辨率 ，帧率30 FPS。触觉反馈以30 Hz从安装在夹爪上的Analog Devices 压阻压力传感器获取。每个任务通过Meta Quest 3头显遥操作收集50条专家演示。
实现细节与基线
视觉编码器使用ImageNet预训练的ResNet-18，动作序列编码和重建使用MLP自编码器。由于触觉力场信号具有类似图像的空间结构，文章使用单独的ResNet-18从头训练作为触觉编码器。流匹配使用轻量级MLP参数化速度场。推理时使用显式欧拉求解器6步积分生成动作和未来潜在。
基线包括：视觉扩散策略DP、视觉+触觉扩散策略DP-VT、Tactile-WAM，以及仅视觉的VITA和视觉-触觉变体VITA-VT。为公平比较，文章将Tactile-WAM的核心组件Tactile Asymmetric Attention机制融入ManiFeel提供的触觉扩散策略实现中。VITA-VT通过使用与Agile-WAM相同的多模态融合策略增强原始仅视觉VITA构建。
成功率：仿真与真实双线领先
表1 展示了仿真任务上的成功率比较。Agile-WAM在9个任务中的多个上取得最佳或接近最佳：Bulb Screw 92.67%，Gear Assembly 70.67%，Peg Reorientation 42.00%，Peg Insertion 49.33%，USB Insertion 62.00%，Ball Sorting 92.00%，Object Search 50.67%，Nut Bolt Threading 92.67%。在Power Plug Insertion上为59.33%，略低于VITA-VT的63.33%，但仍高于其他基线。
表2展示了真实世界任务的成功率比较。Agile-WAM在Gear Assembly上达到0.80（16/20），Peg Insertion 0.55（11/20），Power Plug Insertion 0.65（13/20），Internet Cable Insertion 0.30（6/20），Internet Cable Unplugging 0.85（17/20）。**在五个真实世界实验中，Agile-WAM总体成功率相对提升29.4%**。
图4展示了Agile-WAM在真实世界实验中有效学习纠正行为。当初始尝试未能将物体与目标位置对齐时，Agile-WAM仍能在视觉受阻的情况下恢复——通过轻轻保持与周围表面的接触，利用触觉反馈搜索正确的插入位置。这种恢复能力大幅提升了成功率，而基线往往无法纠正错位。
例如，在销钉插入中，手腕相机视角在销钉接近底部时被部分遮挡，难以视觉判断销钉是与孔对齐还是压在边缘上。在这种情况下，Agile-WAM响应触觉反馈，沿着表面滑动销钉朝向孔，直到成功插入。类似地，在齿轮装配中，中间齿轮可能卡在其他齿轮上无法正确啮合。Agile-WAM检测到这种停滞并执行纠正性扭转动作，直到齿轮对齐并嵌入。相比之下，VITA仅依赖视觉观测，对接触状态的感知有限；VITA-VT融入了触觉观测，但往往无法学习稳定的恢复行为，在初始尝试失败后倾向于卡住或盲目推动。
推理效率：11.9ms延迟，控制频率比DP高40倍
表3展示了推理效率比较。所有测量在单张NVIDIA RTX 4090上进行，FP32，批量大小1。每个方法生成跨度为16的动作块，报告的推理时间取50次运行的平均。Agile-WAM的推理时间为10.35ms，相对VITA的1.07倍，控制频率96.62 Hz；VITA为9.71ms，102.99 Hz；VITA-VT为10.52ms，95.06 Hz；DP为408.59ms，2.45 Hz；DP-VT为420.34ms，2.38 Hz；TAAM为636.34ms，1.57 Hz。
Agile-WAM保持了与VITA相当的低推理延迟，同时实现了比DP高40倍的控制频率。尽管Agile-WAM与VITA共享相同的轻量级流匹配骨干，但它额外融入了触觉编码和更大的未来预测潜在空间。这些增加由于紧凑的模型设计而引入的推理开销很小。尽管Agile-WAM在更大的潜在空间上操作，额外的计算在GPU上高效并行化，导致推理延迟与VITA相当。Agile-WAM因此既敏捷又具备世界模型能力，适合高频机器人控制，并可能部署在计算受限的边缘平台上。
消融实验：联合预测、模态组合、预测跨度的各自贡献
图5展示了Agile-WAM的消融研究。
(a) 预测头：Agile-WAM优于没有联合动作-未来建模的基线。由于联合预测需要比非预测基线更大的流匹配潜在空间，文章进一步禁用Agile-WAM的世界建模损失项而保持增大的潜在空间不变，以隔离世界建模效应与额外模型容量。结果显示，改进主要来自联合动作-未来建模，而非更大的潜在空间。通过联合学习动作和未来观测，策略能更好地捕捉其动作如何影响后续状态，产生与预期未来演化一致的高质量动作。
(b) 预测模态：在接触丰富操作中，视觉和触觉传感提供互补反馈，建模它们的未来状态可以对动作学习施加不同形式的对齐。当两种模态都作为输入时，移除任一模态的预测都会降低性能，而Agile-WAM通过联合预测未来视觉和触觉观测取得最佳结果。这表明世界建模在被预测模态与策略可用的观测模态一致时最有效。
(c) 预测跨度：比较了多尺度设计与两种替代方案：视觉和触觉都预测下一帧，以及两种模态使用相同的较长预测跨度。对视觉和触觉使用相同预测跨度持续降低性能。长触觉预测跨度可能忽略高频接触变化，而下一帧视觉预测由于相邻帧强冗余提供有限的学习信号，无法捕捉精确视觉动态。
(d) 预测损失权重：通过变化视觉和触觉预测损失权重探索各自对策略性能的影响，最优配置取得92.7%成功率。
五、结论与局限
文章提出了Agile-WAM，一个敏捷的触觉世界动作模型，将多模态世界预测与动作生成耦合用于接触丰富操作。通过使用融合观测潜在作为vision-tactile-to-action流的源，Agile-WAM联合生成动作、视觉和触觉表示，而不依赖大型生成骨干或复杂条件模块。其多尺度多模态预测机制提供与每种模态时间特性匹配的监督：更长跨度的视觉预测捕捉有意义的演化，而下一步触觉预测保留快速接触动态。在9个仿真和5个真实任务上的评估展示了跨多样接触丰富交互的强劲性能，同时保持低推理延迟和高控制频率。
文章的局限在于：实验覆盖的任务类型和物体类别仍然有限，真实世界评估的试验次数为每任务20次，统计效力有限。触觉传感器的空间分辨率和力测量精度也会影响策略在更精细接触任务上的表现。未来工作可以探索更多模态（如本体感知的力/力矩）、更复杂的接触动力学，以及在实际边缘设备上的部署验证。
写在最后
Agile-WAM的核心贡献不在于提出更大的模型或更复杂的架构，而在于用一个物理上合理的洞察重新组织了触觉世界模型的监督信号：视觉和触觉以不同时间尺度演化，因此应该用不同跨度来预测。这个洞察让一个轻量级架构——不需要大规模预训练生成骨干、不需要交叉注意力条件模块——在保持11.9ms推理延迟的同时，取得了比大模型基线更高的真实世界成功率。
文章最值得关注的数字是29.4%和11.9ms。29.4%是真实世界成功率的相对提升，11.9ms是推理延迟。这两个数字放在一起说明了一件事：敏捷性和预测能力并不矛盾，关键在于监督信号是否与模态的物理特性对齐。多尺度多模态预测正是这种对齐的具体实现——视觉看远，触觉看近，各得其所。
从更宏观的视角看，Agile-WAM代表了一类新的思路：不是用更大的模型去覆盖更多模态，而是用更聪明的监督去匹配每种模态的物理时间尺度。对于正在探索触觉感知、世界模型和实时机器人控制交叉的研究者而言，这种“时间尺度对齐”的设计哲学可能比具体的架构选择更具启发意义。代码和项目主页的公开将进一步推动这一方向的社区探索。
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
