触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。

具身智能之心 2026-07-26 18:00

点击下方卡片,关注“具身智能之心”公众号


先来看一段现场实景录制的视频:


视频里机器人能干的活儿特别多:煮鸡蛋面、调柠檬水这些居家料理,还有收纳整理,它样样拿手;就连工厂流水线装配、精细零件组装、线材缠绕梳理这些精细活也全都不在话下。这正是触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图1系列模型展现出的强大实操能力。

不知道大家有没有见过机器人实操翻车的名场面:插头边缘反复摩擦却难以插入、抓取塑料瓶时力道失控导致瓶身瘪陷、叠好的毛巾在松手瞬间散落……在具身智能的落地进程中,这类“视觉系统判定无误,但物理交互瞬间翻车”的现象屡见不鲜。


这些失败指向了一个行业共识:决定机器人能否在真实物理世界中生存的关键,往往不只在于视觉感知的精度,而更在于接触瞬间的触觉反馈。摄像头能确认空间位置,却无法感知“是否接触”、“顶到边缘”、“夹力过载”或“发生滑移”等,缺失这层反馈,正是阻碍机器人跨越“最后一厘米”的核心痛点。

触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图2

近日,上海新智具身智能科技有限公司(NeoteAI)联合复旦大学可信具身智能研究院,正式发布了触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图3系列三份技术报告,把触觉从“辅助模态”跃升为“核心基建”。 三份报告合起来看,恰好拼出一张蓝图——一套触觉数据底座,搭配两条不同侧重的技术路线。

更具行业价值的是,项目的数据和模型会进行开源,可以直接查看项目的完整链接:https://research.neoteai.com。



触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图4-Foundation:

统一触觉“方言”,构建3万小时交互语料库

触觉数据的规模化应用长期受制于各类触觉设备输出的数据格式互不兼容。不同传感器输出的凝胶形变图、电容矩阵或六维力向量,犹如缺乏统一语法的方言,难以在同一模型中融合。



为此,NeoteAI搭建的NeoData数据集旨在打破这一壁垒:

  • 包含超3万小时视觉-触觉交互操作数据;

  • 约140万条操作片段,33亿个时间步;

  • 对应80亿帧RGB画面与100亿帧触觉图像;

  • 动用Franka、Piper、UR5e等6种机器人本体;

  • 覆盖450项真实长程任务(如叠衣、插拔接头、倒液体等),由90位操作员采集;

  • 已开源5千小时视觉-触觉交互操作数据。

触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图5


另外,团队还提出了NeoForce统一表征模型。无论底层传感器硬件如何,都能够学习到具备迁移能力、时序结构化的触觉表征,以供下游具身智能策略使用:哪里被按?按多大力?有没有横向拉扯?这种“触觉普通话”有效解决了跨设备数据融合难题。


下面的视频完整介绍了触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图6-Foundation的各项核心功能,包含硬件、数据样例、全面评测等。



触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图7-VTLA:

以“触觉预判”赋能轻量级VLA

数据底座夯实后,团队接下来思考的是如何将触觉真正融入到VLA技术路线之中。

在现有的多模态融合实践中,直接将触觉图像与RGB视觉信号进行简单拼接往往面临挑战:由于触觉信号仅在物理接触瞬间产生高频响应,大部分时间处于“静默”状态,极易被海量视觉Token淹没。更为关键的是,即便模型成功提取了当前触觉特征,其本质上仍是对已发生动作的滞后反馈——这种“后视镜”式的感知机制,使得在动态交互中始终慢半拍。

触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图8

触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图9-VTLA提出了一种全新的方案:不依赖滞后的当前触觉,而是预测未来50步内的触觉演变。该模型将当前触觉编码为紧凑的潜在Token,结合视觉上下文预判滑移、受力等趋势,从而指导动作模块提前调整。不同任务上显示:触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图10-VTLA在插插头任务中成功率达85%,而同类视觉方案仅60%;在拔钥匙的任务成功率达99%,而视觉方案为35%。

此外,触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图11-VTLA 还突破了传统模仿学习仅依赖专家成功轨迹的局限,让机器人从失败数据中实现自主进化。模型结合触觉信息利用部署后数据以及human in the loop的数据训练了一个进度评估模型,使其能够识别任务执行阶段,甚至识别出“退步”与“救场”等复杂行为。通过结合离线强化学习,机器人在毛巾折叠、书包收纳、纸箱折叠等长程任务上的成功率,分别从50%、35%、20%大幅跃升至95%、80%、75%,真正实现了从失败经验中汲取教训的持续进化。

触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图12

下面的视频直观的展示了触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图13-VTLA在精细化操作方面的能力。




触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图14-TWAM:

在世界模型中重构“触觉想象”

如果说触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图15-VTLA是加装预判雷达,触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图16-TWAM 则是对机器人“认知中枢”的重构:它把触觉放进世界模型,让机器人在动手之前,先在自己的“想象”里完整的推演一遍操作视角和手感。


现有世界模型大多局限于未来视觉图像的生成,在驱动真实机器人时面临严峻的物理对齐挑战:画面里杯子被抓住了,但手指夹没夹稳?画面里插头对齐了,但下一秒会不会卡住?这些触感信息完全缺失。


触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图17-TWAM要做的是同时预测未来的视频、触觉和动作这三个相互耦合的序列。触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图18-TWAM采用混合专家架构,内置视频、触觉、动作三个异步专家网络,视频专家从预训练模型热启动,触觉和动作专家用更窄的结构,最终总参数量72亿,仅相当于全宽方案的一半。

触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图19

在仿真与真机测试中,触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图20-TWAM展现出显著优势:仿真平均成功率达84.5%(而世界模型最强基线为36%);真机8项任务平均成功率46.3%(LingBot-VA为21.9%)。消融实验进一步证实,去除“未来触觉预测”或“当前触觉条件”均会导致性能显著下降,确立了触觉在世界模型中的不可或缺性。

触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图21

以下视频展示了触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图22-TWAM的模型实际操作能力。



触觉:具身智能的下一个 Scaling Law?

纵观触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图23系列三份报告,NeoteAI释放了明确的行业信号:触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图24-Foundation验证了触觉模态具备类似视觉的Scaling潜力;触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图25-VTLA证明了触觉可以自然的接入现有 VLA 架构;触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图26-TWAM 确立了触觉在世界模型顶层设计中的核心地位,使其与视觉模态真正平起平坐。

这意味着,机器人的认知范式正从单一的“视觉驱动”向“视触融合”演进。它们不再仅仅通过“看”来理解世界,而是开始像婴儿一样,通过主动的触觉探索来验证假设并规划下一步动作。“看得见杯子不等于拿得稳,认得出插座不等于插得进”——这一物理世界的常识,终于被写入了机器人的底层逻辑。

尽管距离“随手一摸即知轻重”的通用具身智能仍有长路要走,真实场景下的数据采集成本、跨本体泛化能力以及推理实时性仍是亟待攻克的工程难题,但NeoteAI的这组工作已实质性地推动触觉从“小众研究方向”跃升为“具身智能核心基建”。


触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图27


具身智能的下一篇章,或许不再仅仅是“让机器人看懂世界”,而是真正“让机器人摸透世界”。

项目链接:https://research.neoteai.com

公司官网:https://www.neoteai.com



END

 推荐阅读 :

触觉正成为核心“基建”!新智具身&复旦大学发布触觉基座、VTLA和TWAM三大任务模型。图28

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
more
2台eVTOL飞行模拟器,每年支持250名飞行员培训
四证是入场券,如何商业化?eVTOL真正的考验才刚开始
从Kittyhawk到supernal:eVTOL的萎缩未来
VTOL圈动态,eVTOL基础设施资料包
2026年中国eVTOL产业链图谱及投资布局分析
国家UOM平台公示:中国无人机/eVTOL  行业,10余家公司型号获认证
入选胡润、《财富》双榜单背后:沃飞长空抢抓低空产业化窗口,抢占载人eVTOL赛道高地
时的科技称E20 eVTOL将于明年投产,零重力获近5亿元新一轮融资
新《民用航空法》实施在即!低空经济的法定地位确立,沃飞长空领先载人eVTOL赛道
国家队飞控正式入局!国产eVTOL核心系统迎来关键合作
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号