无需额外触觉策略预训练，SimpleTouch 用50条示范学会精细操作

把 USB 插进接口，机器人可以用视觉找到大致位置，却未必能看清接触之后发生了什么——插头已经对准，还是抵住了边缘？下一步应该继续推进，还是调整姿态？

外观看起来相似的状态，可能需要完全不同的动作。触觉提供的正是这部分决定操作成败的信息。

但给视觉语言动作模型（VLA）接入触觉，并不等于模型就能用好触觉。新模态与原有预训练知识之间存在差距，直接加入触觉，成功率甚至可能降低。因此，不少方法依赖大规模触觉策略预训练，或额外的视觉触觉对齐阶段，先为模型建立使用触觉的能力。

这些额外阶段一定必不可少吗？

清华大学研究团队提出的 SimpleTouch给出了否定的答案：在已有预训练 VLA 和触觉表征的基础上，只用任务示范进行单阶段训练，就能学会高质量的接触丰富操作，无需额外触觉策略预训练或独立对齐阶段。

具体而言，SimpleTouch 在 π0.5 上加入触觉专家，通过动作监督和未来触觉预测，学习如何利用接触信息。每个任务仅用50条示范，便在6个仿真任务和4个真机任务上均取得最高成功率，表现超过经过大规模触觉策略预训练的 FTP-1。

极简改造：直接为 π0.5 加入触觉专家

SimpleTouch 把架构改造集中在一处：为预训练 π0.5 加入一个触觉专家，将已有的触觉表征转化为动作专家可读取的接触信息。触觉编码器负责提取接触特征，触觉专家与动作专家共同学习如何据此预测与行动。任务示范同时提供动作和未来触觉监督，整个训练无需额外触觉策略预训练或独立对齐阶段。

冻结编码器，保留完整接触细节

接触不仅有“碰到了没有”，还有“碰在哪里、形变如何分布”。

SimpleTouch 冻结预训练 T3 编码器，保留每个传感器全部197个当前触觉 token，包括全局 CLS token 和196个空间 token。策略可以读取完整的 T3 特征序列，不必先将接触状态压缩为单个全局向量。

这样一来，任务训练学习的是如何利用这些特征，而非用几十条示范重新学习触觉表征。

让动作专家直接用上触觉

SimpleTouch 没有将触觉 token 直接混入视觉语言骨干，而是交给具有独立参数的触觉专家处理。

触觉专家采用与动作专家相同的 Transformer 架构，将当前触觉特征转换为逐层键值缓存。动作专家在生成动作时，通过注意力读取这些缓存，将接触信息与视觉、语言及机器人状态结合起来。训练时，视觉语言骨干、动作专家和触觉专家共同优化。触觉在拥有自己的处理通道的同时，又能通过动作监督学习任务所需的信息变换。稳定的预训练表征与可训练的触觉—动作接口，由此在同一个任务训练阶段衔接起来。

从未来触觉中学习接触变化

动作监督告诉模型“该怎么做”，未来触觉预测进一步要求它学习“接触会怎样变化”。

SimpleTouch 预测未来的触觉潜在表征，目标直接来自同一条示范轨迹中的后续触觉观测，无需额外采集数据。未来预测与当前触觉处理共享专家参数，而部署时只编码当前触觉并复用缓存，无需运行预测分支。

十项任务均居首位：表现超越预训练触觉策略 FTP-1

这一简单改造能否达到预训练触觉策略的水平？

团队首先在 UniVTAC 的 Lift Bottle、Pull-out Key、Lift Can、Put Bottle、Insert Hole 和 Insert Tube 六个任务上，与七个强基线比较。参评方法包括纯视觉策略、不同触觉接入方案，以及经过大规模触觉策略预训练的 FTP-1。所有方法使用相同的50条任务示范，每个仿真任务评测100次。

结果显示，SimpleTouch 在全部六项任务上取得最高成功率，平均达到77.5%。相比未进行触觉策略预训练的 FTP-π0.5（45.2%），提高32.3个百分点；相比预训练触觉策略 FTP-1（66.7%），提高10.8个百分点。

更值得注意的是精细接触任务的表现。去掉视觉线索较强的 Lift Bottle 和 Lift Can，SimpleTouch 的平均成功率仍达到74.3%，而FTP-1 为59.5%。在需要判断接触方向、对准插入的 Insert Hole 和 Insert Tube 任务上，SimpleTouch 分别达到85%和100%，领先 FTP-1 21个百分点。

这一优势也延续到真实机器人。SimpleTouch 在Play Mahjong、Wipe Board、Pick Up Chips 和 Insert USB四项真机任务上同样取得最高成功率，分别为100%、85%、70%和30%，平均达到71.3%，超过 FTP-1 的62.5%，领先8.8个百分点。

关键结论：保留好表征，学会预测接触变化

团队在 Pull-out Key、Put Bottle、Insert Hole 和 Insert Tube 四个任务上的消融实验，揭示了三个关键设计：提供高质量且完整的触觉表征、在少量示范下保留预训练特征空间、以及通过未来预测学习接触演变。

高质量且完整的触觉表征是基础

触觉表征既要可靠，也要保留空间细节。

不使用触觉时，四项任务的平均成功率为39.0%；仅加入 T3 的 CLS token，便提升至57.5%；保留全部197个 token，则进一步达到74.3%，比单个全局 token 再高16.8个百分点。

Token 数量对应空间池化程度：减少池化、保留更高分辨率，有助于策略利用局部接触结构。

在部分任务上，完整的通用视觉表征已能支持较好的操作表现，冻结的视觉 VAE 的四任务平均成功率为67.8%。但对于 Insert Tube 这类更精细的接触任务，专业触觉编码器仍然关键：使用 T3 时成功率为100%，视觉 VAE 为73%。

别让少量操作轨迹扰动预训练表征

将 T3 解冻后，平均成功率为70.5%，低于冻结时的74.3%。

在只有几十条操作轨迹的条件下，微调编码器并未提升任务表现，反而可能使表征过度适应有限的接触状态，扰动预训练中获得的可迁移特征。

因此，SimpleTouch 冻结 T3，将任务学习集中在触觉专家及触觉—动作接口，让策略适应任务，而不必重塑已有的触觉表征。

预测接触变化，让触觉更好地指导动作

去掉未来触觉预测，平均成功率为68.8%；只预测 t+50 时刻，为68.5%；预测10个未来时刻，则达到74.3%，分别比前两者提高5.5和5.8个百分点。

单时域与多时域采用相同的池化表征，每个时刻的空间分辨率一致，差别在于是否监督沿途的接触变化。

以 Put Bottle 为例，加入多时域预测后，成功率从不预测时的 37% 提升至 50%。这表明，多时域预测能进一步提升触觉辅助动作决策的能力，而且部署时无需运行预测分支。

表3 未来触觉预测消融。多时域预测在四项任务上的平均成功率达到74.3%。

结语：触觉策略预训练并非必由之路

SimpleTouch 给出了有力的实证答案：已有预训练 VLA 和触觉编码器时，额外触觉策略预训练不是获得强接触操作能力的必要条件。

保留完整的当前触觉表征，为 VLA 加入触觉专家，再通过动作与多时域预测共同训练——仅凭每项任务50条示范，就能在十项接触丰富的精细操作任务上达到最优表现。

对于难以组织大规模触觉操作数据的团队，SimpleTouch 提供了一条更直接的路径：复用成熟的 VLA与触觉编码器，直接通过任务示范学习触觉增强策略。这为接触丰富操作任务的策略学习提供了一条训练依赖更少、实践门槛更低的路径。

-END-

点击下方卡片，关注【Xbotics具身智能实验室】公众号

你想要的这里都有~~

Ask Me Anything｜提问箱

对文章有疑惑，或想聊更深？欢迎把你的问题丢给我们：技术方案、实操踩坑、课程与资料、项目合作、职业发展，都可以问。

怎么问：在评论区留言，或私信公众号

我们会做什么：每周集中整理高质量问题并公开回复，重点问题邀请作者或嘉宾深度解答；典型问题会加入知识库并持续更新。

提问小提示：尽量说明「你的目标—当前做法—期望产出」，附上必要信息（硬件/软件版本、数据规模等），能更快获得有用答案。

一起把问题变成知识，推动社区进步 🚀