是我错怪VLA了,没想到它的泛化瓶颈不在大脑。

具身智能之心 2026-07-08 11:49

点击下方卡片,关注“具身智能之心”公众号


作者丨Yiyang Fu等

编辑丨具身智能之心

本文只做学术分享,如有侵权,联系删文



>>

更多干货,欢迎加入国内首个具身智能全栈学习社区(戳我)这里包含所有你想要的。

先想象一个画面。

一台机器人在实验室里练了上千次抓取,桌上的杯子、篮球、玩偶摆在哪,它都能稳稳拿起来。你把它原封不动搬进家里的厨房,程序没改,模型没换。前一秒还表现完美,直到下午三点,一束阳光斜切过光滑的台面。

台面泛起反光,杯子的边缘在镜头里糊成一片。机器人伸出手,抓了个空。

这时候你大概率会想:是不是它还不够聪明?

但星尘智能联合北大、清华等团队最近的一项研究,给了个更意外的答案:哪怕是当前最强的 VLA(视觉-语言-动作)模型,一旦遇到训练时从没见过的反光、模糊、遮挡,性能都会明显下滑——而问题,多半不出在机器人的「大脑」上。

星尘智能与北京大学、清华大学等最新联合研究发现,即便是当前最先进的Vision-Language-Action(VLA,视觉-语言-动作)模型,一旦遭遇训练过程中从未见过的视觉干扰,其性能往往会大幅下降。而更令人意外的是,问题可能并不出在机器人的“大脑”。

近年来,VLA模型逐渐成为具身智能领域最重要的技术路线之一。简单来说,这类模型的工作方式类似于:看见(Vision)→ 理解(Language)→ 行动(Action)。机器人通过摄像头观察环境,通过大模型理解任务,再输出具体动作。然而现实世界远比训练数据复杂。

真实世界中,机器人可能遇到:摄像头模糊、镜头油污、光照变化、反光、遮挡、数字噪声等,且理论上,没有任何训练集能够覆盖所有可能情况。 机器人真正的考场,不是在实验室,而是在充满干扰的现实世界。研究团队提出了一个关键问题:当机器人遭遇从未见过的视觉干扰时,究竟是哪里出了问题?

  • 技术报告:https://arxiv.org/abs/2605.18287
  • GitHub开源链接:https://github.com/DAGroup-PKU/HumanNet/tree/main/src/model/StableVLA

为解决这一问题,星尘智能、北大和清华等联合发布并开源全球首个「信息瓶颈适配器」VLA鲁棒性架构 —— StableVLA,文章已中稿ICML。

StableVLA提出基于信息论的轻量化双流模块IB-Adapter,兼顾空间细节保留和频谱噪声抑制,让机器人聚焦于真正重要的目标信息,在各种合成视觉干扰条件下实现了平均35.2%的性能提升。

今天,我们就为大家解析下这篇工作。

是我错怪VLA了,没想到它的泛化瓶颈不在大脑。图1

脆弱的不是模型

通过系统分析多个SOTA(State-of-the-Art)VLA模型后,研究人员发现:视觉编码器(Vision Encoder)并非主要问题。大语言模型(LLM)也并非主要问题。真正的薄弱环节,是连接两者之间的一个模块:Projector(投影器)。

如果把机器人系统比作一个跨国团队:Vision Encoder负责说“图像语言”,LLM负责说“语言模型语言”,Projector则是中间的翻译官

问题在于:当前主流Projector大多采用MLP结构。而这种结构几乎像一个“全通滤波器”。它不会区分:哪些是目标物体信息,还是哪些只是镜头污渍、反光或噪声,于是所有信息都会被一股脑送入决策系统。

研究团队认为:这正是VLA模型在真实环境下鲁棒性不足的重要根源。

给机器人加“智能降噪器”

为了解决这一问题,研究团队提出:Information Bottleneck Adapter(IB-Adapter),即“信息瓶颈适配器”。它的核心思想来自信息论中的经典理论:信息不是越多越好。关键是保留最有价值的信息。

是我错怪VLA了,没想到它的泛化瓶颈不在大脑。图2

IB-Adapter和StableVLA架构:通过“关联分析+智能门控+特征重构”三重机制,在视觉信息进入决策系统前分析不同特征之间的关联,区分真实信息和噪声;借助Sigmoid门控,给每个特征通道安装独立开关,保留重要信息,给噪声降权甚至屏蔽;最后对视觉特征进行非线性变换后重建,增强信息表达力

在传统VLA中:摄像头捕获的所有内容都会被送往后续网络。而IB-Adapter会先进行一次筛选:保留物体轮廓、空间结构、操作相关的有用特征。同时压制:噪点、模糊、反光、随机干扰等用不上的噪声。

换句话说,它相当于给机器人增加了一层“视觉降噪系统”。在机器人做决策之前,先过滤掉可能误导它的信息。

为什么它能识别噪声?

有趣的技术洞察是:传统视觉模型通常关注:图像的空间位置(Spatial Attention)。即:“哪里重要?”。而IB-Adapter关注的是:特征通道(Channel Dimension)

即:“哪些特征重要?”。

研究团队发现:不同通道中存储的信息并不相同。有些通道主要记录跟任务语义强相关的:物体边缘、几何结构、形状特征。另一些通道则:噪声、模糊、随机扰动,相关性更弱。

因此IB-Adapter可以为每个通道设置独立门控(Sigmoid Gate):重要通道保持开启、噪声通道自动关闭,最终让机器人看到一个更加“干净”的世界

在一些需要长时间序列保持空间精度的长程任务中,只靠 IB Adapter 可能会让动作轨迹变得不够精准。StableVLA 给出了务实解法:双路并行,解耦融合。

比如对需要极高空间精度的拾取和放置任务,系统会近乎完整保留 MLP 通路,IB Adapter 仅作为鲁棒性残差补充进来。对于需要长期语义规划的目标识别类任务,系统则会适度增加 Dropout,迫使策略网络更依赖鲁棒特征路径。这种特定任务驱动的动态平衡,让 StableVLA 在不同操作场景中始终能找到最好的鲁棒性切面。

SOTA对比效果

效果有多明显?答案是:远超预期。在不增加额外训练数据、不引入额外数据增强、不重新构建训练流程的情况下,IB-Adapter平均带来约30%的性能提升。

在LIBERO的四个标准任务套件上,StableVLA 在多数子任务中取得了最优或次优成功率。对比与自身结构类似的 VLA-Adapter,在严重腐蚀程度 5 的设置下,StableVLA 的性能提升幅度从 40.2% 一路飙升到 139.6%。而在CALVIN基准上的平均完成任务数,也全面领先。不是小数点后几位的胶着战,而是直接甩开了断层式的差距。

是我错怪VLA了,没想到它的泛化瓶颈不在大脑。图3
LIBERO和CALVIN基准对比

更重要的是:整个模块新增参数不足1000万。对于动辄数十亿参数的大模型而言,几乎可以忽略不计。

是我错怪VLA了,没想到它的泛化瓶颈不在大脑。图4
在损毁严重性最高的Level-5压力测试下,StableVLA保持稳健,OpenVLA等基线模型性能则显著下降。

5亿参数模型,挑战70亿参数模型

论文中最引人注目的结果之一是:搭载IB-Adapter的StableVLA,即便仅使用:0.5B(5亿)参数模型,仍然能够达到接近:7B(70亿)参数级VLA模型的鲁棒性表现。两者规模相差14倍。

这意味着:过去行业解决鲁棒性问题的方法往往是:模型不够强?那就做得更大。

而这项工作给出了另一种答案:与其让机器人更聪明,不如先让机器人少被噪声欺骗。

在真实机器人上验证

为了验证方法是否真正有效,研究团队在 Astribot S1 平台上进行了真实世界测试。

测试任务包括:抓取与放置(Pick & Place)、迷你投篮(Throw Basketball)、倒水(Pour Water)、玩偶装箱(Pack the Doll)等。同时人为制造:图像噪声、模糊、镜头油污、物体遮挡。

结果显示:在严重视觉干扰下,StableVLA依然能够保持较高操作成功率,而多个现有方案则出现明显退化。

是我错怪VLA了,没想到它的泛化瓶颈不在大脑。图5

StableVLA 鲁棒性概述:(a) 在 LIBERO 基准测试中的鲁棒性比较中,三角形标记和柱状图分别表示在干净数据和损坏数据(不同严重程度的平均值)上的性能。StableVLA 实现了目前最先进的SOTA零样本鲁棒性。(b) 在视觉损坏的情况下,打包玩具任务上的实际机器人部署,StableVLA (0.5B参数) 达到了 50% 的成功率,优于同参数的 VLA-Adapter (0.5B, 20%) 、参数远高于其的OpenPI 0.5 (3B, 40%)

从学术角度看,这是一项关于VLA鲁棒性的研究。但从产业角度看,它回答的是一个更现实的问题:机器人如何离开实验室,进入真实世界。

现实中的工厂、商场、家庭和餐厅,永远不会拥有完美的光照、干净的镜头、标准化的场景。未来机器人能否大规模部署,很大程度上取决于:当环境开始变脏、变乱、变复杂时,它是否依然能够完成任务。

而这项工作给出的答案是:机器人未必需要更大的模型,但一定需要更稳定的视觉理解能力。这或许也是具身智能从“能工作”迈向“可靠工作”的关键一步。

关于星尘智能

星尘智能(Astribot)成立于 2022 年,是一家以 AI 为核心的具身智能引领企业,也是全球首家实现绳驱人形 AI 机器人量产的企业。在 AI 方面,公司自研 Lumo 基座模型与 DuoCore 商业化部署框架,通过快慢系统协同,兼顾复杂任务理解与实时动作控制;

在本体方面,其模仿人类肌腱运动机制的绳驱本体,使机器人兼具高灵巧操作能力、高拟人表现力与更高的人机交互安全性。基于「Design for AI」核心理念,公司构建了「AI 模型—具身 OS—绳驱本体」三位一体的全栈自研体系,并已在科研、商业服务、文娱演出和工业等多个领域实现规模化落地。

END

 推荐阅读 :

是我错怪VLA了,没想到它的泛化瓶颈不在大脑。图6

是我错怪VLA了,没想到它的泛化瓶颈不在大脑。图7

是我错怪VLA了,没想到它的泛化瓶颈不在大脑。图8

声明:内容取材于网络,仅代表作者观点,如有内容违规问题,请联系处理。 
more
无人机上的磁传感器,鸽子身上也有!科学家发现鸽子利用肝脏中的特殊细胞实现精准导航
Ouster发布Rev8系列“原生彩色激光雷达”,试图终结传感器融合之争
磁传感器全球出货量市场份额TOP 4!编码器芯片±0.02°精度直击人形机器人关节痛点
《计测技术》“传感器”专栏——“化学与生物量传感器技术、特种感知技术”专题征稿启事
Bosch Sensortec IMU新品:突破4000dps量程,边缘AI算力下沉传感器
一个螺丝孔竟是天线?拆解360胎压传感器的巧妙之作!
全速拓局 | 芯旺微电子发布光雨量传感器芯片KF32A626x
Adv Funct Mater:链间动态调控型响应水凝胶:兼具稳定粘附与按需脱附性能,用于舒适可穿戴传感器
强制国标来了!增幅146%,这一传感器市场「刚需」爆发
索尼首款Lofic传感器,量产!
Copyright © 2025 成都区角科技有限公司
蜀ICP备2025143415号-1
  
川公网安备51015602001305号