点击下方卡片，关注“具身智能之心”公众号
过去两年，机器人学习的主线之一是 VLA：Vision-Language-Action。视觉让机器人识别物体和理解场景，语言告诉机器人需要完成什么任务，动作模型则将这些信息转换为可执行轨迹。
但当机器人真正开始和物理世界发生接触，问题就不再只是「物体在哪里」和「下一步往哪里移动」。
插入时，机器人需要判断零件是否已经卡住；擦拭时，需要维持合适的接触力；抓取柔软物体时，需要区分是否抓稳；旋拧瓶盖时，还需要同时处理轴向力、旋转力矩和滑移。
这些信息往往很难从图像中直接获得。接触区域可能被机械臂或工具遮挡，物体也可能在受力后发生变形。更重要的是，视觉上只有毫米级的微小误差，在真实接触中却可能迅速导致动作卡死或过大的接触力。
因此，真正的具身智能不仅要能够看见和规划，还要能够感受、理解并调节物理交互。
近日，新加坡南洋理工大学 MARS Lab 联合斯坦福大学（Stanford）、加州大学伯克利分校（UC Berkeley）、麻省理工学院（MIT）、新加坡国立大学（NUS）、东京大学（UTokyo）、苏黎世联邦理工学院（ETH Zurich）、哈佛大学（Harvard）、佐治亚理工学院（Georgia Tech）、帝国理工学院（ICL）、瑞典皇家理工学院（KTH）及达姆施塔特工业大学（TU Darmstadt）等高校的研究者，共同发布了一篇触觉与力觉机器人学习综述：
Learning Physical Interaction: A Survey of Tactile- and Force-aware Robot Learning
这篇综述并没有将触觉与力觉简单视为视觉之外的两种额外传感模态，而是提出了统一分类框架 TF-ART，从完整的机器人信息流和控制流出发，系统梳理接触信号如何被感知、表征和融合，如何进入动作生成模型，如何用于局部动作修正，以及最终如何与机器人底层柔顺控制连接。
综述最终筛选并分析了 53 项代表性工作，覆盖 21 类接触丰富型机器人任务，并进一步总结了不同传感器、机器人平台、末端执行器和控制接口对算法设计的影响。
对于正在研究 VLA、Diffusion Policy、ACT、强化学习、触觉感知或接触丰富型机器人操作的研究者，这篇综述提供了一张从「感知」一直延伸到「真实执行」的完整技术地图。
论文标题：Learning Physical Interaction: A Survey of Tactile- and Force-aware Robot Learning
论文链接：https://arxiv.org/abs/2608.07558
GitHub：https://github.com/NTUMARS/Awesome-Tactile-Force-aware-Robot-Learning
项目主页：https://lorenzo-0-0.github.io/tactile-force-survey/
项目负责人：Shilin Shan，Nanyang Technological University
通讯作者：Jianfei Yang，Nanyang Technological University
为什么现有综述还不够？
触觉与接触操作并不是新问题。
过去的综述已经分别讨论过触觉传感器、电子皮肤、视觉—触觉表征、主动触觉探索、接触操作、模仿学习、灵巧手以及机器人基础模型。
但这些工作通常围绕某一个局部问题展开：
有的重点介绍传感器原理和硬件设计；
有的关注触觉识别和跨模态表征；
有的讨论接触任务中的模仿学习；
有的关注控制器和柔顺控制；
还有一些工作从 VLA 或基础模型的角度讨论如何加入触觉或力觉。
问题在于，一套真实的触觉或力觉机器人系统往往同时包含上述多个部分。
触觉信号可能是策略模型的输入，也可能只在接触阶段进入一个快速修正模块；力觉既可以作为观测，也可以被模型预测为目标力；策略输出可能是动作轨迹，也可能是控制刚度；同一个学习模型还可能需要和阻抗控制、导纳控制或混合力位控制相连接。
如果只按照传感器类型或学习算法分类，很难回答一个更关键的问题：
触觉与力觉究竟在机器人系统的什么位置，以什么形式发挥作用？
TF-ART 的核心贡献，就是将每项工作放回完整的信息流中分析，而不只是给它贴上一个「触觉方法」「力觉方法」或「VLA 方法」的标签。
TF-ART：一条从感知到控制的完整链路
TF-ART 的全称是 Tactile/Force-Aware Robot learning Taxonomy。它把触觉与力觉机器人学习划分为四个连续阶段：
Phase 0：多模态感知、表征与融合。 机器人获得视觉、语言、状态、触觉和力/力矩等观测，并将这些异构信号转换为可供策略使用的表征。
Phase 1：主要动作生成。 策略根据多模态观测生成初始动作、动作序列、参考力、控制刚度或其他中间变量。
Phase 2：接触感知的动作修正。 一个更轻量、更快速的策略或模型利用最新的力觉、触觉和局部状态，对 Phase 1 的输出进行细粒度修正。
Phase 3：机器人末端控制。 修正后的动作、目标力和刚度参数进入底层控制器，由位置控制、阻抗控制、导纳控制或混合力位控制完成真实机器人执行。
这一分类揭示了一个容易被忽略的事实：触觉与力觉不一定只出现在模型输入端。
它们也可以作为表征学习的监督信号、策略需要预测的中间变量、动作修正阶段的高频反馈，或者底层控制器闭环中的直接测量。
多模态感知：让机器人真正理解接触信号
力觉和触觉看到的并不是同一件事
力/力矩传感器通常提供机器人与环境之间的整体受力信息。
安装在腕部的六维力/力矩传感器可以测量末端执行器承受的合力和合力矩；关节力矩传感器则能够反映整条机械臂上的受力变化。即使没有专用传感器，机器人也可以利用电机电流、关节跟踪误差和动力学模型估计外部接触力。
触觉传感器则更关注局部接触状态，包括接触位置、接触面积、压力分布、表面形状、变形、纹理和滑移。
基于视觉的触觉传感器通过相机观察柔性表面的形变，可以提供高分辨率的接触图像；Taxel 阵列利用规则分布的触觉单元记录压力、法向力或剪切力；稀疏触点表示则更适合曲面和不规则分布的传感器。
触觉也不只意味着静态的压力图像。主动滑动和滚动可以暴露材料与几何属性，振动和声学信号可以用于检测冲击、纹理和滑移，接触产生的振动甚至可以沿着机械手、被抓物体或工具传播，使机器人推断传感器表面之外的接触。
因此，力觉更像是在回答「机器人整体受到了多大的作用力」，触觉则更擅长回答「具体在哪里接触、接触状态怎样」。
不是把所有特征拼在一起就足够了
即使机器人拥有多种传感器，如何让模型真正使用这些信号仍然是一个困难问题。
视觉、语言、力觉和触觉在数据形式上存在巨大差异：视觉和触觉图像维度很高，力/力矩信号通常只有六维，机器人状态的频率可能高于相机帧率，触觉还会受到材料、安装位置、传感器结构和噪声的影响。
更关键的是，不同模态的重要性会随任务阶段变化。
在自由空间运动中，视觉和语言负责理解场景与任务；接触发生以后，局部触觉和力觉才成为判断滑移、碰撞和受力状态的主要依据。如果不区分阶段地持续融合所有模态，模型可能被无关信息干扰，也可能让高维视觉特征压制低维但关键的接触信号。
综述将当前多模态表征学习方法归纳为四类：
辅助重建：要求触觉或其他模态的编码特征能够重建原始输入，避免关键接触细节在策略训练中被忽略；
掩码自编码：遮挡部分视觉或触觉观测，让模型利用剩余模态恢复缺失信息；
向量量化重建：将连续触觉特征映射到离散码本，提高表征的紧凑性和抗噪能力；
多模态对比对齐：将描述同一物理状态的视觉、触觉、力觉和语言表示拉近，形成共享语义空间。
在获得表征以后，模型还需要决定如何融合这些信息。现有方法包括 FiLM 特征调制、注意力条件注入、Mixture-of-Experts 专家路由和门控过滤。
其中，门控和专家路由尤其适合接触任务：模型不再假设每种模态始终有效，而是根据接触状态和任务阶段决定何时启用触觉、何时强调力觉、何时继续依赖视觉。
综述还进一步讨论了几种值得关注的方向，包括在扩散模型的不同去噪阶段注入不同模态、缓解视觉或语言对优化过程的过度主导，以及通过世界模型预测未来触觉和力觉变化。
这意味着多模态融合正在从「把所有信息放在一起」转向「在正确的时间使用正确的信息」。
动作及中间模态生成：策略不应只预测机器人往哪里走
TF-ART 将主要动作生成策略归纳为五类：回归策略、强化学习、Diffusion/Flow Matching、ACT 和 VLA。
综述并没有试图从这些架构中选出唯一答案。相反，它强调不同架构解决的是不同层次的问题：VLA 更适合语义理解和任务泛化，Diffusion Policy 与 ACT 擅长高频动作控制，强化学习适合自主探索
更值得注意的是，接触感知策略的输出也不再局限于位姿或关节动作。
除了单步动作和动作块，模型还可以预测：
机器人应当施加的参考力；
阻抗或导纳控制需要的刚度参数；
接触状态、任务进度和模式切换信号；
未来触觉、力觉或机器人状态；
供下一阶段使用的潜在动作和局部表征。
这使学习策略开始从「告诉机器人去哪里」进一步转向「告诉机器人应该用多大的力、保持多大的刚度，以及如何与环境接触」。
分层架构：为什么只依赖一个端到端大模型还不够？
理想情况下，一个端到端模型可以同时读取视觉、语言、状态、触觉和力觉，并直接输出最终动作。
但在真实机器人上，这种设计面临一个根本矛盾：
语义推理需要大模型和长时间上下文，稳定接触却需要低延迟、高频率的反馈。
高层模型需要理解「把瓶盖拧紧」「沿桌面均匀擦拭」这样的任务意图，而底层系统可能需要在毫秒级时间尺度上响应力的突变。让同一个大型模型同时完成这两件事，不仅计算开销很高，也很难保证接触时的精度与稳定性。
因此，越来越多方法开始采用「慢思考、快反射」式的多阶段架构。
在 Phase 1 中，大模型根据视觉、语言和状态信息生成粗略轨迹或动作块；在 Phase 2 中，一个更小、更快的模型使用最新的触觉、力觉、机器人状态或局部图像，对上层动作进行高频修正。
综述将这种设计称为区分式模态注入：并非所有信息都必须先经过上层模型。一部分高频力觉和触觉信号可以绕过 Phase 1，直接进入动作修正模块，甚至直接进入底层控制器。
Phase 2 的修正方式也很多样：
强化学习策略可以在原轨迹上预测残差动作；
轻量 ACT 可以快速解码上层生成的潜在动作块；
浅层回归网络可以生成单步反射式修正；
状态机、导纳机制和比例控制等模型方法可以直接利用物理先验。
这些方法的共同点是：Phase 2 通常不从零生成整条轨迹，而是根据新的接触信息对 Phase 1 的结果做局部、增量式修正。
这样一来，高层策略可以专注于「任务要做什么」，低层策略则负责「当前这一步是否接触正确」。
底层力控制：学习策略必须和控制器连接
动作被模型预测出来，并不意味着机器人就能稳定完成物理交互。
在插入、擦拭、切割和柔性物体操作中，学习策略最终需要通过底层控制器转化为机器人执行。控制器决定机器人在接触以后是继续刚性跟踪轨迹，还是根据受力主动让步。
综述重点讨论了四类机器人底层控制方式。
PD/位置控制主要追踪目标位置或关节角，接口普遍、实现简单，但通常较为刚性，意外接触容易产生较大的作用力。
阻抗控制规定运动误差与接触力之间的动态关系，使机器人表现得像具有可调刚度和阻尼的弹簧。它能够实现较自然的柔顺行为，但通常需要机器人提供可靠的力矩控制或阻抗接口。
导纳控制将测量到的外力转换为新的运动指令。机器人受到的力越大，沿相应方向产生的运动修正也越明显，因此适合在位置控制机器人上构建基于力反馈的柔顺行为，但通常依赖外部力/力矩传感器。
混合力位控制则在不同方向上分别控制位置和力。例如，擦拭时可以沿桌面方向跟踪运动轨迹，同时在垂直桌面的方向维持恒定接触力。
这里存在一个容易被忽略的工程事实：算法能否使用参考力和刚度，不只取决于模型是否能够预测它们，还取决于机器人平台是否提供对应的控制接口。
因此，策略、机器人硬件和控制接口不能被当作彼此独立的模块。真正可用的力觉机器人学习系统，需要在模型输出、控制频率、传感器反馈和平台能力之间建立清晰接口。
3 项方法究竟在测试什么？
为了观察当前研究真正解决了哪些问题，综述进一步将 53 项方法涉及的 21 类任务划分为四组。
(1). 精密接触操作
包括插入、插头装配、瓶盖或螺母旋拧以及把手转动。
这类任务通常具有狭窄几何约束，接触区域又容易被遮挡。轻微的位置误差就可能导致卡死，因此重点考察接触定位、误差修正和柔顺控制。
(2). 柔性物体与表面接触操作
包括柔软或易碎物体抓取、剥皮、擦拭、切割和物体滑动。
这类任务中的物体形状和受力状态会持续变化，机器人需要在较长轨迹中稳定调节接触力，并理解材料、摩擦和变形。
(3). 动态与多接触操作
包括移动目标抓取、物体重定向、手内操作、双臂协同和双臂擦拭。
这类任务要求机器人快速响应短暂的接触变化，同时处理多个接触点和多个执行器之间的协调关系。
(4). 家庭与长时序操作
包括开关门、抓取放置、倾倒、拉动物体和推动物体。
这些任务需要更强的语义理解和长时序动作生成能力，同时还要在复杂、非结构化环境中适应材料、摩擦和遮挡变化。
从统计结果看，当前研究分布并不均衡。
插入任务出现在 26 项工作中，擦拭出现在 18 项工作中，抓取放置出现在 13 项工作中。三者合计占据了接近一半的任务—方法组合。相比之下，动态交互、多接触协调和长时序家庭任务仍然明显不足。
这说明当前触觉与力觉机器人学习的主要进展，仍然集中在局部、短时序的接触修正问题上。让机器人在开放环境中长时间、跨阶段地使用接触信息，仍然是更困难的问题。
未来方向：从任务专用系统走向物理交互智能
综述最后提出的核心判断是：当前系统虽然已经能够利用触觉和力觉提高具体任务的成功率，但距离可迁移、可扩展的物理交互智能仍然很远。
(1). 建立跨传感器、跨机器人的统一接触表征
相同的接触在不同机器人、不同工具和不同安装位置上会产生完全不同的力觉信号；触觉传感器在原理、形状、分辨率和输出格式上也高度异构。
这使现有模型通常与特定硬件绑定。未来需要建立传感器无关、机器人无关的接触表征，使模型能够迁移对压力、摩擦、滑移和稳定性的理解，而不是重新适配每一块触觉传感器。
(2). 进一步明确「慢推理」与「快反射」的分工
大规模 VLA 适合任务理解和跨场景推理，但快速接触响应应由更轻量的局部策略和控制器承担。
未来的多阶段系统需要更明确地编码任务阶段，例如区分自由运动、接近接触、初始接触和稳定接触，并根据阶段动态选择模态、动作技能和控制策略。
机器人需要的可能不是一个包办一切的模型，而是一套能够协调高层推理、技能专家和快速接触反射的系统。
(3). 扩展接触数据与物理仿真
高质量触觉和力觉数据收集昂贵，传感器配置也难以标准化；与此同时，现有模拟器仍然难以准确复现摩擦、柔性变形、高分辨率触觉图像和多点接触。
未来需要结合真实数据、物理仿真和学习式接触预测，构建规模更大、传感器更多样的训练数据，并降低触觉与力觉系统的 Sim-to-Real 差距。
(4). 让世界模型不仅预测画面，还预测接触
当前很多世界模型以未来视频或视觉潜变量为主要预测目标，但在接触任务中，未来的物体变形、接触位置和交互力同样重要。
Contact-informed World Action Model 可以联合预测视觉、触觉和力觉的未来演化，让机器人在真正执行前预判滑移、碰撞和受力过大等风险。
更进一步，机器人可以比较预期接触和实际接触之间的差异，检测失败、修正策略，甚至训练接触感知的奖励模型。
(5). 重新思考硬件与策略的共同设计
柔顺性不一定全部来自控制算法。
软体执行器、腱驱动机构、可变刚度关节和本身具有柔顺性的灵巧手，可以通过机械结构吸收冲击和稳定接触，从而降低传感器和控制器对反馈频率与精度的要求。
未来的机器人系统可能需要共同优化身体结构、传感器布局、机械柔顺性与学习策略，而不是先固定机器人硬件，再让算法被动适配。
(6). 建立真正面向物理交互的评测标准
现有实验主要以任务成功率作为指标，但成功并不能完整描述接触质量。
两个策略可能都完成了擦拭，其中一个始终保持稳定接触，另一个却多次产生过大冲击；两个策略都完成插入，其中一个能够从扰动中恢复，另一个则依赖非常精确的初始位置。
未来 benchmark 除了任务成功率，还应评估：
接触力是否安全；
接触过程是否稳定；
是否能够从扰动和误差中恢复；
能否泛化到未见过的材料和物体；
传感器缺失或发生故障时是否仍然鲁棒；
能否跨机器人、跨传感器和跨控制接口迁移。
只有这样，机器人学习的目标才会从复现任务轨迹，转向获得可迁移的物理概念。
小结
如果说视觉和语言让机器人理解「要做什么」，那么触觉与力觉需要解决的是另一个问题：
机器人怎样判断自己是否正在以正确的方式与世界发生接触？
这篇综述最重要的价值，并不是再次证明触觉和力觉有用，而是将分散在感知、表征、策略、动作修正和机器人控制中的研究放进了同一条信息流。
TF-ART 给出的答案是：物理交互智能不能只依赖某一种传感器，也不能只依赖一个更大的端到端模型。
视觉和语言负责理解任务与环境，触觉和力觉负责判断接触是否正确，高频修正模块负责快速适应变化，底层控制器则负责把这些判断转化为安全、稳定的真实动作。
真正的 Physical AI，不只是让机器人知道该把手伸向哪里。
它还需要知道：
我是否已经接触？ 这个接触是否稳定？ 我施加的力是否合适？ 如果接触状态发生变化，我应该如何立即调整？
从「看见世界」到「感受世界」，或许正是具身智能走向真实物理能力的关键一步。
