点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
星球内有20多门3D视觉系统课程、3DGS独家系列视频教程、顶会论文最新解读、海量3D视觉行业源码、项目承接、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎加入！
太长不看版：DepthVLM既可作为低层次几何形态预测的统一基础模型，也可用于高层次的多模态理解任务。与现有的基于VLM的模型相比，如DepthLM和YouTu-VL，它的推理速度要快得多。
论文信息
标题：Unlocking Dense Metric Depth Estimation in VLMs
作者：Hanxun Yu, Xuan Qu, Yuxin Wang, Jianke Zhu, Lei Ke
机构：Zhejiang University、Tencent Hunyuan LLM、HKUST、Shenzhen Loop Area Institute
原文链接：https://arxiv.org/abs/2605.15876
代码链接：https://depthvlm.github.io/
导读
视觉语言模型在处理诸如物体定位、图像标注等二维任务时表现优异，但在理解三维场景方面仍有局限。其主要缺陷在于其依赖纯文本数据进行训练的方式，这种方式无法有效促进对细节的感知，也无法准确还原物体的复杂几何结构。以往的方法要么从外部视觉模型中提取几何信息，但这样会导致误差累积；要么尝试直接进行预测，但这种方式效率低下，且得到的结果较为粗糙。在本文中，我们提出了DepthVLM这一简单而有效的框架。该框架能够将现有的视觉语言模型转化为具备强大三维几何处理能力的模型，同时保留其多模态处理能力。通过将轻量级的深度感知模块与大型语言模型相结合，并采用分阶段训练的方式，DepthVLM能够在单次处理过程中同时生成高分辨率的深度图和文字描述。此外，我们还制定了适用于各种视觉语言模型的统一室内/室外环境下的深度测量标准。实验结果表明，DepthVLM在推理效率上远远优于现有的视觉语言模型，其性能甚至超过了最先进的纯视觉模型。它显著提升了复杂三维空间的推理能力，从而实现了真正意义上的多模态统一基础模型。
效果展示
现有VLMs与我们方法之间的对比。(a)现有VLMs通常仅以文本空间为监督对象，从而将密集的31D几何结构排除在外。 (b)DepthVLM通过集成轻量级深度头，实现了统一的视觉文本监督范式，从而能够使单一VLMs骨干模型在生成语言响应的同时生成密集的几何信息。(c)即便像GPT-5.5这样先进的VLMs也存在局限性。我们致力于从二维输入中推断出三维结构，我们的模型在性能上显著优于先前的视觉语言模型，甚至超越了领先的专门纯视觉模型。
针对更复杂3D任务的定性结果。除了进行密集的度量深度估计外，我们的模型还进一步支持各种下游3D推理任务，这表明原生密集几何预测为VLMs中的高级空间推理提供了坚实的基础。
引言
随着大语言模型的快速发展，越来越多的研究将其应用从纯文本理解扩展到多模态任务，催生了能够处理多种多模态任务的视觉-语言模型。尽管在视觉推理和图像描述等二维任务上表现出色，但当前的视觉-语言模型在复杂的三维理解方面仍然能力有限，而这对增强现实/虚拟现实、自动驾驶和具身机器人等应用至关重要。
现有视觉-语言模型的一个根本局限在于其纯文本监督范式：视觉信号仅作为输入被消费，而输出则以自回归文本形式生成。这种设计本质上对细粒度视觉感知的约束不足，也无法显式建模密集的场景几何结构。为解决这一问题，先前的工作从预训练的三维模型中注入几何信号（如深度图或点云）来增强视觉-语言模型，但这类流程依赖于外部视觉专家的知识蒸馏，不可避免地存在误差累积问题。近期的研究则探索在视觉-语言模型内部直接从RGB输入进行几何预测。其中，DepthLM首次证明视觉-语言模型能够在度量深度估计上达到纯视觉模型的水平，但其每次推理仅查询单个像素，导致密集预测速度极慢，同时其偏重文本的监督方式严重削弱了模型通用的视觉问答能力。Youtu-VL进一步实现了单次前向传递中的全图深度预测，但其令牌级输出仍然粗糙，需要事后插值才能获得像素级细节。此外，其从零开始的训练策略需要海量数据和计算资源，限制了直接适配现有视觉-语言模型的可能性。
这些观察引出一个自然的问题：能否在最小化架构改动的前提下，让视觉-语言模型本身成为一个原生的密集几何预测器，同时保留其通用的多模态能力？聚焦于三维理解中的基础任务——密集度量深度估计，我们提出了DepthVLM，一个简单而有效的框架，使单个视觉-语言模型主干能够同时生成密集的像素级深度图和语言响应。如图2(b)所示，我们在大语言模型主干上附加了一个轻量级深度头，以处理后的视觉令牌作为输入，并在统一的视觉-文本监督范式下对模型进行微调。在单次前向传递中，DepthVLM预测所有像素的全图深度，无需后处理，从而将DepthLM的O(HW)推理成本降低到O(1)。此外，与固定分辨率的视觉模型不同，DepthVLM继承了视觉-语言模型的原生分辨率灵活性，并可无缝集成到标准的指令微调阶段。
由于将视觉-语言模型扩展到其他任务往往会降低其通用多模态能力，我们采用了双阶段训练策略：第一阶段仅训练新增的深度头以建立初步的深度预测能力，第二阶段对整个模型进行端到端微调。我们还进一步提出了DepthVLM-Bench，一个统一的基准测试，将公开的室内和室外深度数据集整合为视觉-语言模型兼容的格式，既支持有效训练，也便于与纯视觉模型进行公平比较。有趣的是，我们发现为视觉-语言模型配备密集几何预测能力可以提升下游的三维空间推理性能，这进一步凸显了一个统一基础模型的价值——该模型同时在低层次密集几何预测和高层次多模态理解上表现出色。
主要贡献
我们的贡献有三点：
• 我们发现视觉-语言模型可以作为原生的密集几何预测器，并提出了一种轻量级方案，从而得到一个统一的、同时支持密集几何生成和多模态交互的基础模型，且能与标准指令微调阶段无缝兼容。
• 我们设计了一种双阶段训练策略以保留视觉-语言模型原有的多模态能力，并提出了DepthVLM-Bench，一个统一的室内外基准测试，支持视觉-语言模型的训练以及与纯视觉模型在度量深度估计上的直接比较。
• 在多种数据集上的大量实验表明，DepthVLM显著优于现有视觉-语言模型，推理效率更高，在度量深度估计上超越了最先进的纯视觉模型，并进一步提升了下游三维空间推理的性能。
方法
我们的目标是开发一个统一的基础模型，在单个视觉-语言模型主干中原生支持低层次密集几何预测和高层次多模态理解。如图3所示，我们（i）为标准视觉-语言模型附加一个轻量级DPT风格的深度头，以联合生成密集度量深度图和语言响应；（ii）采用双阶段训练策略以保留视觉-语言模型固有的多模态能力；（iii）利用多源训练语料和焦距归一化来减轻异构传感器之间由相机参数引起的歧义，从而实现强大的跨数据集泛化能力。
实验结果
与其他视觉-语言模型的比较。 为了评估现有视觉-语言模型中的度量深度估计，我们遵循DepthLM的方法，通过提示模型预测带有箭头标记像素的深度。如表1所示，通用视觉-语言模型表现不佳——尤其是在室外驾驶场景中——Qwen3-VL-32B的δ1为0.21，GPT-5.5平均仅为0.41，这揭示了与可靠三维理解之间的巨大差距。即使是经过空间增强的视觉-语言模型，在深度和标定监督下，其表现仍不如一个常数深度基线。相比之下，我们的模型在室内和室外场景中均持续表现出色，显著优于更大规模以及任务特定的视觉-语言模型。
与纯视觉模型的比较。 表2进一步将我们的模型与室内和室外度量深度估计领域领先的专用纯视觉模型进行了比较。由于纯视觉模型和DepthVLM都输出密集的度量深度图，我们在视觉-语言模型设置中使用的相同采样像素上对它们进行评估，以保证公平比较。尽管我们的模型是一个具有强大多模态能力的统一模型，但我们的方法不仅显著优于大多数视觉专家模型（包括UniDepthV2和Metric3Dv2），而且还超越了当前最先进的DepthAnythingV3。
总结 & 局限性
在本文中，我们提出了DepthVLM，一个统一的基础模型，同时支持低层次密集几何预测和高层次多模态理解。我们将轻量级深度头集成到视觉-语言模型主干中，并在统一的视觉-文本监督下采用双阶段训练策略，使模型能够在单次前向传递中同时完成几何预测和语言响应。大量实验表明，DepthVLM在多种数据集上取得了领先的性能，推理效率更高，超越了强大的纯视觉模型，并提升了复杂三维空间推理的能力。
局限性。 本文主要聚焦于密集度量深度估计，尚未探索更广泛的三维感知任务，如物体检测和姿态估计。将该框架扩展为能够实现整体三维感知与推理的统一模型，仍有待未来工作。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
。
添加微信：cv3d001，备注：姓名+方向+单位，邀请入群。
