点击下方卡片，关注“具身智能之心”公众号
机器人已经越来越擅长“看懂”世界，但当任务真正进入物理交互阶段，仅凭视觉仍然存在一道难以跨越的缺口：机器人缺“手感”，不好“把握”周围世界。
人类拿起杯子，并不是只依靠眼睛。手指接触物体的瞬间，触觉会不断反馈“是否抓稳”“力度是否足够”“方向是否偏移”，帮助人快速调整动作。
而一只灵巧手拿起杯子，摄像头可以看到杯子的位置、手臂的运动轨迹，却无法直接判断手指是否抓稳；插头对准插座，视觉可以判断两者大致位置，却不知道插入力度是否合适；擦锅、抽纸、整理柔性物体时，图像能够记录物体形态变化，但真正决定动作成败的，是压力、摩擦、滑移和接触状态这种把握世界的能力。
这是因为对于机器人而言，视觉能力与生俱来擅长，但与物体接触的把握力感知长期不足。
过去几年，具身智能的发展主要围绕视觉展开。视觉语言动作模型（VLA）让机器人能够理解任务、识别环境并生成动作；世界模型则进一步尝试预测未来状态。但如果机器人要真正进入开放环境，完成更复杂的灵巧操作，仅仅知道“世界长什么样”还不够，它还需要知道“自己如何与世界发生接触”，更多的是对“接触了，然后呢”的精准预测。
7 月 8 日，哈尔滨工业大学（深圳）杨朔团队发布论文 《TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation》，提出了一种面向灵巧操作的触觉世界模型（Tactile World Model）给机器人增强横向把控操作能力提供了一种思路。TouchWorld 让触觉进入机器人世界模型和操作策略，而不是停留在一个额外的传感器信号层面。机器人不仅需要预测未来画面如何变化，也需要预测未来应该形成怎样的接触状态，并在真实执行过程中利用触觉反馈不断修正动作。
这篇论文也是杨朔团队围绕具身智能触觉展开的一系列研究中的最新一环。在此之前，团队已经提出 EgoTouch 和 TouchAnything，分别探索如何采集人类触觉数据，以及如何从大规模第一人称视频中恢复触觉信息。
三项工作串起来，形成了一条清晰路线：先让机器人获得触觉数据，再让触觉数据具备规模化能力，最后让触觉真正进入机器人决策和控制，构成具身触觉数据飞轮。
而这条路线背后，也对应着杨朔创办的具身智能公司——破晓智能（PHANES AI）。
TouchWorld：
论文：https://arxiv.org/abs/2607.07287
tech blog:https://phanes-lab.github.io/TouchWorld-website/
TouchAnything：
论文：https://arxiv.org/abs/2605.13083
官方项目主页：https://jianyi2004.github.io/TouchAnything-Website/
01.
机器人为什么需要触觉世界模型？
在传统机器人系统中，视觉主要负责告诉机器人“环境是什么样”。
例如：一个机器人看到桌上的杯子，可以识别杯子的位置、大小和朝向，并规划一条机械臂运动轨迹。但真实操作并不是一个纯视觉问题。
当灵巧手真正接触杯子时，新的问题才出现：抓取力度是否足够？杯子是否抓稳了，还是正在滑落？手指接触位置是否正确？对于很多任务而言，视觉只能描述外部状态，却无法直接描述接触状态。插入类任务就是典型例子。机器人可以看到插头和插座的位置，也可以生成一段看似合理的运动轨迹，但插入是否成功，取决于最后几毫米的接触关系。如果角度稍有偏差，或者力度不足，动作就会失败。
柔性物体操作更加困难。擦拭、抽拉、整理衣物等任务中，物体会发生形变，接触状态不断变化。机器人需要根据实时反馈调整力度和方向，而不是按照固定轨迹执行。这也是灵巧操作区别于简单移动和抓取的地方。机器人不仅需要理解物体，还需要理解自己与物体之间的关系。TouchWorld 关注的正是这一问题：触觉能否成为机器人世界模型中的一种基础能力。
02.
预测未来接触，同时修正当前动作，
TouchWorld很好地完成了这两项工作
TouchWorld 的核心设计可以概括为两个关键词：Predictive 和 Reactive。
Predictive 指的是触觉预测。过去的世界模型主要预测未来视觉状态，例如下一帧画面可能出现什么。但对于灵巧操作来说，仅预测视觉变化并不足够。
TouchWorld 通过触觉世界模型预测机器人任务子目标。
机器人还需要知道：“如果这个动作完成，接触状态应该是什么样？”以按压喷壶为例。视觉可以判断机械手已经移动到按钮附近，但它无法确定按钮是否真正被按下。机器人需要知道，完成这个子任务时，手指应该在哪里产生压力，压力应该达到什么程度，接触区域应该如何变化。
TouchWorld 中的 Tactile World Model 就承担了这一任务。它根据当前观察和任务目标，预测未来阶段的视觉-触觉状态，为后续动作生成提供目标。这意味着机器人执行动作时，不再只是追求视觉上的相似，而是有一个明确的接触目标。
Reactive 则指触觉反馈修正。现实世界不会完全按照模型预测发展。物体可能移动，机器人可能存在误差，外部环境也可能产生干扰。因此，机器人需要在接触发生后快速调整。比如拿一个湿滑杯子，人不会重新规划整套动作，而是在感觉杯子开始滑动时，下意识增加握力。这个过程依赖的是触觉反馈，而不是重新进行视觉推理。
TouchWorld 的 Reactive 模块采用类似思路：上层策略负责生成动作，下层根据实时触觉和机器人状态，对动作进行局部修正。
触觉不再只是告诉机器人“刚才发生了什么”，而是参与当前动作应该如何继续。
03.
为什么不能简单把触觉加入具身模型？
从表面看，VLA 已经可以处理视觉、语言和动作，那么增加触觉输入似乎只是增加一种模态。但杨朔团队认为，触觉和视觉存在本质区别。视觉信息持续存在，覆盖范围大，能够提供丰富环境信息；触觉则更加局部，通常只在接触发生时产生，但这些短暂的信息往往决定任务是否成功。
如果简单把视觉、语言、触觉全部输入同一个模型，模型很容易依赖视觉完成任务，而忽略触觉信息。因此，TouchWorld 没有选择构建一个统一的大模型，而是采用分层设计，让不同模块处理不同时间尺度的问题。
系统主要包含三个部分。
第一部分是 High-Level Planning Layer，负责理解任务并拆解子任务。
例如“给花浇水”这一任务，可以拆分为拿起喷壶、移动到目标位置、按压喷头等多个阶段。其中的 Tactile World Model 会预测当前子任务未来应该达到的视觉-触觉目标。
第二部分是 Visuo-Tactile Goal-Conditioned Policy，负责根据视觉、触觉、机器人状态以及任务目标生成动作。论文中使用 tactile diffusion Transformer，将触觉信息转换为模型能够处理的表示，使视觉和触觉共同参与动作生成。
第三部分是 Tactile-Conditioned Refinement Policy，负责高频反馈。它不重新理解整个任务，也不重新规划长程动作，而是在已有动作基础上，根据触觉反馈进行微调。这种设计对应了机器人操作中的不同时间尺度：任务理解可以慢一些；动作生成需要更快；接触反馈必须最快。
TouchWorld 三层架构：高层规划并预测目标，中层生成动作，高频触觉反馈实时纠偏。
04.
六项真实任务，验证触觉带来的价值
为了验证 TouchWorld 的效果，论文在真实机器人环境中测试了六项任务：浇花、桌面清理、电源插头插入、杯子插入、擦锅、抽纸巾。
这些任务覆盖了不同类型的操作难点。浇花和桌面清理需要长程任务规划；插头插入和杯子插入考验精细接触；擦锅需要持续保持压力；抽纸巾则涉及柔性物体处理。
论文还设置了人为扰动场景，例如移动目标物体、干扰抓取过程，用来测试系统能否依靠反馈恢复任务。实验结果显示，TouchWorld 在 clean setting 下平均成功率达到 65.0%，在人为扰动场景下平均成功率达到 57.2%。
相比 Pi-0.5、FTP-1、GR00T N1.7 等方法，TouchWorld 在两个设置下分别超过最强 baseline 15.7 和 16.0 个百分点。
不过，这并不意味着灵巧操作已经被解决。65%的成功率距离真实环境中的稳定部署仍有距离，论文也指出，目前系统仍面临任务规模有限、传感器迁移困难、长程触觉预测存在挑战等问题。但它验证了一件更具体的事情：在接触密集型任务中，将触觉目标预测和高频反馈修正结合起来，能够提升机器人操作稳定性。
05.
从 EgoTouch 到 TouchAnything：
触觉数据如何走向规模化
TouchWorld 并不是孤立出现的。在它之前，杨朔团队已经围绕触觉数据展开探索。
EgoTouch 首先解决的是：机器人需要什么样的触觉数据。过去的人类操作视频可以记录手如何运动、物体如何变化，但无法记录手和物体之间的真实接触。
EgoTouch 通过第一人称相机、腕部视角、手部姿态和触觉手套，同步采集人类操作中的视觉、动作和压力信息。
它让机器人数据第一次包含：人看到了什么；手如何运动；手和物体如何接触。但真实触觉数据采集成本很高，规模难以扩大。
EgoTouch 第一人称视觉-触觉数据采集系统。
因此，TouchAnything 进一步探索：能否从普通第一人称视频中恢复触觉。它利用视觉-触觉对齐数据训练模型，让模型学习视觉和接触之间的对应关系。输入普通第一人称视频，模型可以预测：哪里发生接触；接触区域大小；压力分布如何变化。
TouchAnything 多视角触觉预测模型架构。
这意味着，大量原本只有视觉的人类操作视频，有机会增加一层触觉监督。EgoTouch 解决数据采集问题，TouchAnything 解决数据规模问题，TouchWorld 则解决触觉如何进入机器人策略。
06.
从研究路线到创业：破晓智能想做什么？
TouchWorld 背后的团队，也是破晓智能（PHANES AI）的核心技术来源。破晓智能由杨朔创办，方向是融合人类视频数据与触觉感知，构建面向人形机器人的全身移动灵巧操作世界模型。
杨朔现任哈尔滨工业大学（深圳）计算机科学与技术学院长聘教授、博士生导师，长期研究多模态大模型、Data-Centric AI、计算机视觉与具身智能。从他的研究路径来看，进入机器人领域并不是一次突然转向。此前在机器学习领域，他长期关注数据质量、数据选择和数据效率问题。
到了具身智能时代，这个问题变成：机器人应该用什么样的数据学习真实世界中的操作？相比语言模型，机器人面对的是更加复杂的数据：视觉、动作、触觉、机器人状态和环境变化，需要在同一个任务过程中被对齐。
破晓智能希望围绕这一问题，构建从数据到模型再到控制的完整链路。其中，EgoTouch 负责采集人类操作中的触觉数据；TouchAnything 负责扩大触觉监督规模；TouchWorld 负责让触觉进入机器人世界模型；后续 HumanWBC 则进一步指向人形机器人的全身移动灵巧操作。从单个灵巧手任务，到机器人移动、双臂协同和长程任务，最终目标是让机器人能够像人一样，在真实空间中完成连续操作。
机器人未来进入真实环境，困难不会只在“看懂”。
过去很长一段时间，机器人行业更重视视觉、动作轨迹和本体状态，触觉、力觉等接触数据却常被视为控制环节里的辅助信号，没有被系统积累和反复利用。但当越来越多以触觉为代表的新型传感器开始服务于抓取、插接、擦拭和柔性物体操作，这类数据也应该像视觉数据一样，被持续采集、训练，并在真实部署中不断回流，形成新的数据飞轮。
破晓智能正是这类飞轮的开拓者之一：从 EgoTouch 采集触觉数据，到 TouchAnything 扩大触觉监督规模，再到 TouchWorld 让触觉进入世界模型，它试图把过去被忽视的接触经验，转化为可以长期积累、持续反哺模型的核心数据资产。
对于下一阶段的具身智能而言，触觉不会替代视觉，而是会补充视觉做不到的地方，并正在成为机器人从理解世界走向操作世界的不可绕过的一环。
