T-Rex重构具身智能触觉范式，伯克利全明星团队破解灵巧手“手感”难题

【科技纵览】当李飞飞、Trevor Darrell、Jitendra Malik等计算机视觉领域的泰斗级人物，与Pieter Abbeel、Ken Goldberg及英伟达Jim Fan等机器人学巨擘罕见地齐聚一堂，这并非为了探讨当下炙手可热的通用大模型，而是将目光锁定在了一个更为微观却至关重要的领域——灵巧手的触觉感知。这一由加州大学伯克利分校主导的“全明星”阵容，试图通过名为T-Rex的新架构，解决具身智能在精细操作中面临的根本性瓶颈。

长期以来，自动驾驶依赖纯视觉方案已初见成效，但机器人灵巧手若仅靠摄像头记录运动数据，则面临机位布置难、视频数据量庞大且难以标准化等困境。直觉上，引入触觉模态似乎能提升感知精度并规范数据集，然而现实却颇为残酷：T-Rex团队初期尝试将触觉力信号直接拼接入预训练的VLA模型，结果任务成功率从17%骤降至6%。这一反常识的结果揭示了三层深层矛盾：一是数据采集成本高昂，灵巧手遥操作需佩戴数据手套，成本是平行夹爪的5至10倍；二是频率失配，视觉处理仅为5-10Hz，而触觉捕捉滑动临界点需20Hz以上的高频响应；三是表征浅层化，传统方法将触觉视为静态数值，忽略了其作为时序信号的本质特征。

针对上述痛点，T-Rex提出了一种混合Transformer专家（Mixture-of-Transformer-Experts）架构。该架构包含三个分工明确的模块：Latent Expert负责视觉与语言处理，提供全局预判；Action Expert拥有14.1亿参数，执行低频动作规划；Tactile Expert则以6.2亿参数量实现高频触觉精修。核心创新在于Cascaded Flow Matching机制，即在扩散去噪的第4步进行切分：前6步由Action Expert生成大致轨迹，后4步由Tactile Expert注入实时触觉数据进行细节修正。实验表明，第4步是平衡先验知识继承与细节修正能力的“黄金分割点”。

在数据编码层面，T-Rex利用VQ-VAE将过去16帧（约0.5秒）的力历史压缩为64个离散码字，有效过滤了传感器零点漂移与高频噪声，使不同接触状态得以聚类解释。为防止码本坍塌，团队定期激活闲置码字，并对高力帧赋予更高学习权重，确保模型聚焦于关键接触瞬间。训练策略上，T-Rex采用三阶段路径：先在22,889小时人类视频上预训练以理解运动逻辑；再通过100小时遥操作数据覆盖207种物体和22种动作基元，填补人手与机械手之间的策略鸿沟；最后仅需约100条任务演示即可快速适配特定需求。

实测数据显示，T-Rex在12项真实世界灵巧操作任务中的平均成功率达到65%，较最强纯视觉基线的35%高出30个百分点。其中，翻书页成功率高达96%（纯视觉为68%），开锁任务更是以70%对0%形成碾压。消融实验进一步证实，移除触觉输入后成功率跌至42%，证明超过三分之一的有效操作依赖于“手感”。值得注意的是，即便仅提供10条微调演示，经过中期训练的T-Rex仍能保持约40%的成功率，而未训练模型则归零，这表明模型真正理解了动作的通用物理特性，而非简单记忆数据。

这项研究的价值不仅在于算法突破，更在于其对行业格局的潜在重塑。当前灵巧手赛道多聚焦于关节形式与自由度数量的硬件争论，而T-Rex指出，算法能否高效利用触觉数据才是决定性能上限的关键。随着Sharpa Wave等硬件提供22自由度及180Hz高频信号支持，软硬件协同正在推动灵巧手从整机附属品向独立高价值赛道演进。未来，掌握触觉数据采集与模型训练能力的企业，或将在具身智能产业链中占据核心议价权，同时启发更多垂直场景专用模型的涌现，打破“通用即最优”的单一路径依赖。