小鹏 GroundingPI：教机器人动手之前，先教它看准

让机器人从一张乱桌子上拿起杯子，难点不只有“怎么抓”。它得先找对杯子，分清把手和背景，甚至在遮挡中辨认出能下手的位置。能把场景描述得头头是道，并不保证位置找得准。

最近，小鹏汽车与北京大学、香港大学等机构的研究者提出 GroundingPI，把训练重点前移：先训练一套擅长精确定位的感知模型，再检验它能否帮助机器人学习动作、帮助车辆预测轨迹。论文想回答的是，机器人学习之前，是否应该先把“看”这门基本功练扎实。

论文：GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives

作者：Qize Yu、Lianrui Fan、Boyu Chen、Jiaqi Liang、Xini Ding 等；通讯作者 Ping Luo、Shiyu Huang

单位：小鹏汽车、北京大学、香港大学、加州大学伯克利分校、普林斯顿大学、新加坡国立大学、清华大学、香港科技大学（广州）

论文链接：https://arxiv.org/html/2609.39601v1

开源仓库：https://github.com/groundingpi/GroundingPI

背景：会描述物体，不等于找得准位置

视觉定位（grounding）要把语言中的目标对应到图像的具体位置。问“杯子在哪里”，模型应当圈出杯子；要求“点击保存按钮”，它需要指出可点击的位置。机器人执行任务时，同样需要这种从指令到空间位置的对应能力。

目前，视觉语言动作模型（VLA）常借用通用视觉语言模型理解图像和指令，世界动作模型（WAM）则从视频生成等基础模型迁移能力。但这些模型预训练时的主要目标，与从杂乱场景中精确分辨小目标、相邻物体和局部结构，并不完全一致。

如果感知基础不够扎实，有限的机器人演示数据就得同时承担两份工作：教模型认清操作对象，也教它如何控制动作。已有方法会在动作训练中加入目标框等辅助监督；GroundingPI 进一步把精确感知作为基础模型的主要训练目标，再用下游实验检验其价值。

创新点：让模型用“点”和“框”表达位置

GroundingPI 采用 MoonViT-V2 视觉编码器和 Qwen3-4B 语言骨干，中间通过一个可学习模块连接。论文通常将它称作 4B 模型；计入视觉编码器等部分，附录给出的完整多模态模型规模约为 48.44 亿参数。

它把位置坐标变成模型词表中的专用词元：横纵坐标按图像宽高归一化，映射到 0—999 的离散位置。一个点用两个坐标表示，一个矩形框用四个坐标表示。模型可以在同一输出序列里生成类别名称、位置及必要的格式标记；查询对象不存在时，则输出 None。

这样，找物体、按描述找目标、指出点击位置、识别文字与文档区域，都能使用同一套生成接口。比如“找出所有杯子”对应一组框，“点击这个按钮”对应一个点，文字识别则同时给出文字内容和文字所在的框。

专用坐标词元也减少了数字拆分带来的输出开销。论文报告，在 COCO 和 Dense200 上，每个框平均分别需要 7.6 和 5.1 个词元。不过，输出更短只是生成成本的一部分，不能直接换算成机器人反应速度。

方法：先学看懂，再学定位，最后用奖励纠错

训练数据来自公开数据集和自建标注流程。多个教师模型分别提供类别、位置、文字等候选信息，再检查几何有效性、语义对应与目标覆盖情况。存在分歧时，流程会引入局部裁剪等额外观察；已经通过验证的标注再用于训练和迭代。多个教师的一致意见也需要接受检查。

模型先通过图文、文本和视频相关任务学习一般视觉语言能力，再通过监督微调学习坐标与图像位置的对应关系。最后加入 GRPO 强化学习：针对同一图像和问题采样八份回答，按照目标是否找全、位置是否准确，以及有没有重复框、过大的框和格式错误分配奖励。文字识别还要同时检查文字内容和位置能否匹配。

在机器人实验中，GroundingPI 各层的内部特征被整理成统一接口，与机器人自身状态一起输入动作模块 Action DiT。后者把带噪声的动作序列逐步还原为连续控制信号。机器人使用的是感知模型提供的内部表示，而非逐字读取一段坐标文本后照着执行。

驾驶实验采用另一条接口：输入前置摄像头图像和车辆历史状态，预测未来三秒的六个轨迹点。两个下游任务保留各自的动作学习方式，用来检验感知预训练能否迁移。

实验：定位提升，能否变成动作收益

在感知评测中，作者比较了 44 个基线，覆盖 34 项基准和 11 类能力。GroundingPI 的综合分数为 73.68%，GPT-6 Astra 为 71.54%。

密集场景是较明显的优势：Dense200 上，GroundingPI 的 F1mIoU 得分为 74.53，Astra 为 65.04，Qwen3-VL-4B 为 14.02。但它没有在所有能力上领先，GUI 定位、部分文字识别和小目标边界定位仍有差距。

下游机器人比较固定动作模块、动作数据、训练预算和推理方式，主要更换预训练基础模型。对照包括通用视觉语言模型、视频生成模型、专门定位模型和具身基础模型。部分结果如下，表中均为任务成功率：

第二行会改变背景、光照、杂物等条件，考察换环境之后还能不能完成同样的任务。GroundingPI 相对最强对照提升约 24.8%，对应绝对提升 3.5 个百分点。RoboCasa-GR1 还测试新外观、新物体类别和新的物体与容器组合。合计四种训练时未见的测试条件，GroundingPI 均排名第一；完整设置下则并非全部领先。

动作数据较少时，它的优势更突出。在 RoboCasa-GR1 上，只使用 50% 演示数据就达到 28.75% 成功率，超过所有使用 75% 演示数据的对照，其中最高的是 RynnBrain 的 27.75%。这支持了“扎实的感知基础可以减轻动作学习负担”的判断。

在 nuScenes 驾驶数据上，平均轨迹位置误差为 0.296 米，优于 Qwen3-VL-4B 的 0.301 米和 RynnBrain 的 0.308 米。这个实验只比较离线预测轨迹与标注轨迹的偏差，没有让车辆按照预测实际行驶，因而尚不能说明闭环驾驶效果。

消融：密集定位有贡献，OCR 的作用仍需拆开验证

论文做了坐标表示、视觉编码器、强化学习、预训练规模和数据组合等消融。将文本数字坐标换成专用离散坐标，感知综合分数从 71.21 提高到 73.68；移除最后的强化学习阶段，分数降至 72.86。更换视觉编码器也会影响结果。

数据组合实验把监督分成基础定位、密集定位、按描述定位、一般指点、机器人相关指点，以及 OCR、文档布局、GUI 组成的辅助组。移除密集定位后，RoboCasa-GR1 的常规与未见条件成功率分别下降 4.67、3.47 个百分点，驾驶误差从 0.296 增至 0.311 米。它的影响大于单独移除按描述定位或机器人相关指点。

辅助组被移除时，两项机器人成功率分别下降 5.33、3.63 个百分点；可只用辅助组训练，迁移效果又很弱。这表明不同监督之间存在互补，不能把每组的增益简单相加。尤其该组同时包含 OCR、文档布局和 GUI，尚不能把全部收益归因于“识字”。

作者进一步比较了 OCR 在训练早期加入、持续混入，以及两者结合的安排，组合方案对机器人任务更有利。但“OCR 通过精细文字辨认促进非文字感知”仍是机制假设，需要把文字转录训练与位置监督分开对照。

扩大预训练后，感知分数和未见条件下的机器人表现总体改善。不过，四档实验的最后一档中，常规任务成功率从 38.75% 回落到 37.75%。因此，论文提供了规模增加有利于迁移的证据，尚不足以建立每项动作指标都单调提升的规律。

局限：从感知底座到真实机器人，还有一段距离

机器人操作实验都在仿真中完成，驾驶实验也只做离线评测。定位能力的提升，还需要经由动作策略解决接触、物体动力学和执行反馈问题。论文没有验证完整的实时闭环系统，也没有把“强推理模型负责规划、精准感知模型负责执行”的设想做成端到端对照实验。

基线评测还受到提示词与输出格式兼容性的影响。某个模型无法按统一协议返回结果，不能自动解释为它没有相应能力。作者也承认，各基础模型的预训练规模、架构和数据并未完全一致，统一下游条件只能控制其中一部分差异。

这项工作的证据支持的是：精确、可复用的感知预训练，能够改善特定设置下的动作学习和泛化。真实部署、实时控制，以及不同架构为何产生差距，仍需要进一步实验。

碎碎念

这篇论文做得扎实的地方，是没有停在定位榜单，而是继续追问“看准了，手上有没有收益”。统一动作模块、测试换环境和减少演示数据，再用消融回头拆训练配方，证据链比只展示几个机器人演示视频完整得多。

但统一配方的公平性，也有它的边界。给所有基础模型接上同一动作模块，测到的是这套接口下谁更好迁移；某些模型是否需要不同的适配方式，仍没有答案。它还不足以给整条 VLA 或 WAM 路线判输赢，更不能凭定位综合分数宣布全面超过通用大模型。

24.8% 的相对提升值得关注，17.60% 的绝对成功率同样不能藏起来。换了场景后，大多数尝试仍未成功。比起继续放大榜单差距，我更想看到失败到底来自目标选错、位置偏移，还是后续控制，以及这些错误在真实机械臂上是否依然存在。

“少用机器人演示”也要算清账。规模实验把预训练扩大到 2210 亿词元，减少下游演示量并不自动意味着总训练成本下降。若能补上相近预训练预算的对照、真实机器人闭环测试，以及 OCR 转录与几何监督的拆分实验，这条感知优先路线会更有说服力。它指出了一个值得认真解决的瓶颈，也还需要证明，解决这个瓶颈的收益能跨过仿真和统一接口的边界。