机器人的预训练值得重做一遍，有人走出了第一步。

上个月初，我们做过一次具身基础模型的盘点。

那篇文章里，我们把市面上主流的具身大脑盘点了一遍，专门总结了视觉的 backbone：π0、π0.5 用的是 PaliGemma，GigaBrain 用 PaliGemma 2，π0.6、π0.7 换成了 Gemma 3，DexVLA 用 Qwen2-VL，GR00T N1 用 Eagle-2；还有世界模型路线的主流工作，则建在 Wan、Cosmos 这些视频生成模型上。

盘完之后，我们发现了一个现实：这些所谓的具身模型，绝大多数的视觉底座，都是从通用领域继承来的——SigLIP、Gemma、Qwen-VL、Wan，都不是为机器人训练的。

这些视觉基座模型在预训练阶段几乎没碰过本体感知、动作轨迹、力觉触觉这些机器人数据，对空间关系和物理交互的理解，也并不稳定。

当时我们就感觉：具身其实缺少自己的「空间原生」模型，空间理解对于具身是非常关键的一环，从一开始就为机器人训练的基础模型，少之又少，而这大概率会成为 VLA 和世界模型继续往上走的一个瓶颈。

一个多月过去，这件事有了新的注脚。

做空间原生基础模型的不是一件容易的事。它需要海量数据，以及全自主预训练的算力和耐心。而蚂蚁灵波，又让我们看到了新的技术进展。

就在今天，蚂蚁灵波一口气开源了两样新模型：

• LingBot-Vision：一个从预训练目标就围绕机器人、空间原生的视觉基座；

• 以及基于 LingBot-Vision 的 LingBot-Depth 2.0，一个空间感知模型。

在把技术报告和论文学习完之后，给我们的感觉有些不一样。LingBot-Vision 给出的答案，跟过去十年主流视觉大模型的方案，几乎是反着来的。

所以今天，具身智能之心就和大家好好聊聊蚂蚁灵波最新的工作。

先简单回顾下视觉大模型过往十年的发展路线。

过去十来年，计算机视觉大致是这么走过来的：早期靠人手工设计边缘、角点、纹理这些特征；深度学习发展起来之后，CNN 用大规模图像自动学特征，在分类、检测、分割上一路突破；再到 ViT、CLIP、MAE、SAM、DINO 这一系列基座模型，视觉模型进入大规模预训练、通用表征的阶段。

这条主线有一个越来越清晰的追求：语义不变性。

简单来说，就是让模型无论从哪个角度或光照，都能稳定地识别出「这是一只猫」「这是一个杯子」。CLIP 用文本对齐进行学习，DINO 系列基于自蒸馏，目标是统一的：把图像里的语义剥离出来，越稳越好。

可问题是，机器人需要的根本不是语义不变性。举个例子：

这些全是几何问题，不是语义问题。

我们可以把这件事讲得更直白一点：语义是给人看的，几何是给机器用的。

一个能够回答「视觉里有什么」的模型，服务的是内容理解，搜索、推荐、图文问答。但机器人需要的并非如此，它要在真实物理世界里连续地感知、移动、操作，因此需要的是一个能回答「物体在哪、多远、什么结构」的模型。

这就是LingBot-Vision的出发点。

在图像识别的世界里，模型识别错误，可能只是导致准确率略微降低。可在物理世界里，深度估计偏了几厘米，机械臂可能就抓空了，移动机器人可能就撞上去了。

从这个角度分析，具身基座模型的评价标准，就从「图像任务指标」变成了「机器人能不能把这个动作做对」。

所以机器人的视觉底座，正在发生一次根本转向：从服务数字内容理解的通用视觉模型，转向面向物理世界交互的视觉模型。

厘清了这个定义，再回头看 LingBot-Vision 做的事，就会更清楚。

先看模型的全景。

LingBot-Vision 是一个 1B 参数的 ViT，纯自监督训练，全自主预训练。它的底座，覆盖了分类、检测、分割、深度估计这些核心视觉任务。

DINO 能做的它都能做，并且在深度、空间结构这些具身相关的任务上还额外更强。但真正让 LingBot-Vision 发生质变的，是在出发点的选择上。

先说主流路线在做什么。

DINO系列模型，用的是自蒸馏（self-distillation）：学生模型去对齐 EMA 教师模型的语义分布，奖励的是「学生-教师的看法要一致」。这套方法做语义对齐是很强的，但有个一以贯之的毛病：因为它奖励的是「一致」而不是「空间结构」，稠密特征（dense feature）的质量并不高，训练时间一长就会退化，物体边界的理解会逐渐变差。

DINOv3展示的边界理解退化

DINOv3 为了解决这个问题，专门提出了 Gram anchoring 的机制。简单来说，就是将训练早期较为清晰的几何结构关系存下来当锚点，在后续的训练过程中进行对齐，以尽可能的保留边界纹理特征。

所以这套方法的上限，就是模型早期所保留的边界特征。

问题很明显：在主流路线里，空间几何质量是间接得到的，然后要打一堆补丁去维系。feature upsampler、Gram anchoring、多教师蒸馏，都是类似的打补丁做法。LingBot-Vision 将这类模式如此概括：大家都在给一栋盖歪的楼加固。

LingBot-Vision 选择跳出现有的框架：与其在歪楼上加固，不如重新打地基。

具体做法，就是把几何结构本身，直接当成预训练要学的目标，而不是当成一个需要事后修补的副产品。

这就是 LingBot-Vision 的核心机制，叫 masked boundary modeling（掩码边界建模）。

它的核心有两点。

第一点，是 boundary-forcing。

我们知道 MAE 这类算法掩码建模的思路是：随机遮挡图像的一部分，强迫模型依据剩余部分重建。但普通的随机遮挡有个问题：图像里大片区域是平面的、易学习的（一块白墙，遮挡也很容易补全）。而真正信息密集的边界区域，随机遮挡正好避开了。

LingBot-Vision 反其道而行之，将带边界的 token 强行加入遮挡训练集，逼迫模型必须从周围的上下文，恢复边界结构。

简单来说，就是不让模型在大平面上偷懒，专挑最难的那部分训练。边界是视觉里信息最密、冗余最少的地方，把它变成最难、也最有信息量的预测目标，模型能学习的东西就会更扎实。

第二点，是Categorical Reparameterization of Boundary Fields，边界场的分类化重参数。

直接让老师和学生在一个连续的边界场上互相对齐，训练上会有一些问题，模型容易发散。LingBot-Vision 把边界场改成一个逐像素的分类问题：每个位置去预测它落在哪个离散的「方向 or 距离」格子里。

这点改动会带来两个好处：一是边界学习能直接复用自监督稳定的训练机制，放大scaling的收益；二是承接经典的 a-contrario 检测理论，在「无结构」的零假设下，边界方向应该是均匀分布的，那么一个 token 偏离均匀分布的程度，就是「它有没有可能是真的边界」的度量。

打个比方，这相当于给模型设置了量尺，能免费判断「我看到的这条边，是真的结构，还是随机噪声」，不需要额外训练，不需要额外标注。

这两招结合起来，就让「模型学习几何」的可能性，第一次能像「学习语义」一样稳定地大规模训练。

论文里，还有一个地方很有意思。

masked boundary modeling 有个鸡生蛋的难题：如果把边界 token 强行加入遮挡集，前提是先知道边界在哪里。可一个从零开始、随机初始化的网络，是没有这个能力的。

我们最想遮挡的地方，正是它当下能力不足之处。

LingBot-Vision 给出的解法， 在Finding 1：给定一组稀疏的角点，一个取值完全随机、没有经过任何学习的边界场，居然就能解码出合理的、几乎一致的线段；而一旦去掉角点，同样的随机值就无法收敛。

换句话说，边界的结构不是靠硬学，它在很大程度上是被角点「锚」出来的。原始图像里本来就存在这份几何，模型只是被引导着去看见它。有了角点的参考，边界从训练的第一步就可用，再随着训练慢慢变锐。

边界，在它被学会之前，就已经在那了。

这个发现我们认为很重要，是因为它给「把几何当地基」这件事提供了证据。地基的物料，不依赖外部标注或者现场的边缘检测器，甚至不用其他预训练模型，raw image 里本就存在。

讲完原理，看结果。

1B 参数的 LingBot-Vision，在 NYU-Depth v2 深度估计上拿到 0.296 的 RMSE（越低越好），胜过了 7B 参数的 DINOv3（0.309），也超过 2B 的 V-JEPA 2.1（0.307），参数却只有它们的 1/7 和 1/2。

更能说明问题的是蒸馏之后。蒸馏得到的 0.3B 小模型，在 NYU-Depth 上追平了 7B 的 DINOv3，参数少了大约 23 倍。ViT-L / B / S 各个尺寸档的蒸馏模型，在各自的尺寸级别里，稠密预测都是领先的。

当然，LingBot-Vision 也并非所有任务都是SOTA。在纯图像级识别上，是略逊于 DINOv3-7B 的。但其实，这可以印证我们上文和大家分享的内容。

它把模型的容量，分配给了局部的几何结构，并非图像级的语义不变性。

这在我们看来不是短板，是一次为机器人做的取舍。图像识别那点差距，对一个要去抓杯子、要去避障的机器人来说，远没有几何准确更重要。

小而对，胜过大而偏。这就是「空间原生」在指标上的区别。

一个视觉基座好不好，最终要看下游任务的性能。LingBot-Depth 2.0 就是这个验证。

几乎什么都没改，LingBot-Depth 2.0 基于上一代（Depth 1.0） 的训练配方得到了2.0版本。并且只有两点：一是将 encoder 的初始化，从原先的 DINOv2 替换为 LingBot-Vision；二是将训练数据，从 3M 扩充至 150M。

就这两个改动，结果是 16 个深度补全 benchmark 上的领先。

实验结果上，在最难的 block-mask（大块深度缺失）设定下，DIODE-Indoor 上的 RMSE 从 Depth 1.0 的 0.132 直接降到 0.062，几乎减半；。在Hammer, Cleargrasp, Lingbot等真实深度传感器数据上，更是获得了显著的性能提升。

在Cleargrasp这类透明物体场景上，RMSE 也近乎减半。透明杯子、玻璃门、镜面、反光地面这些原本让深度相机「返回一片空白」的地方，Depth 2.0 得到的结果是成片、连续的平面。

为什么换个 encoder 初始化就有这么大差别？

蚂蚁灵波给出了一个工程性的解释：深度补全的不确定性，集中在物体边界和材质突变的地方。而这，正好是 LingBot-Vision 最擅长编码的结构。

地基对了，上面盖什么都稳。还有一点希望大家认真记住。

好底座的优势，不会被更多数据冲淡，只会被持续放大。

蚂蚁灵波做了一组很关键的对照实验（论文 Figure 8）：在同一套训练流程下，将数据从 3M 扩充到 20M 再到 150M，分别用 DINOv2 和 LingBot-Vision 两种初始化，看深度质量如何提升。

结果是这样的：两条曲线一开始在 3M 处几乎持平。但 DINOv2 ，在使用 20M 数据之后基本就饱和了；而 LingBot-Vision，则可以进一步scaling，指标从 0.777 进一步提升到 0.795。

一句话总结。数据越多，好底座和普通底座的差距不是缩小，而是拉大。

END