BEVFormer 是近年来领先的 3D 感知框架之一，提出了一种融合 Bird’s Eye View（BEV）视角和 Transformer 架构 的感知方式。它利用多摄像头输入构建 BEV 表征，并结合时序特征做运动物体感知。

BEV 是什么？

• 每个像素表示地面上一个固定区域（如 0.5m × 0.5m）；
• BEV 具有固定分辨率和尺度，便于与规划、控制模块对接；
• 动态物体不会因远近发生比例变化，便于稳定检测和跟踪。
  
  

BEVFormer 架构简介

1. 图像编码：使用 ResNet+FPN 的 backbone+neck 结构提取多视角图像特征；
2. Lift 操作：将图像特征结合深度预测“抬升”（lift）到三维空间中；
3. Splat 投影：将三维点投影到 BEV 平面网格，聚合形成 BEV 特征图；
4. 时序建模：引入前几帧 BEV 特征，使用 temporal attention 模块进行时序对齐；
5. 目标检测解码器：采用 learnable query，预测 3D 物体框及其类别。

Lift（抬升）

• 每个像素在原始图像中只提供 2D 信息（x， y），没有深度；
• 利用深度估计（或相机投影矩阵）推测该像素在 3D 空间中的位置；
• 所有 3D 点再“划分”为离散的三维网格（Voxel Grid），以统一尺度处理。

3D 物体框表示形式

• （x， y， z）：中心坐标；
• （dx， dy， dz）：尺寸；
• θ：朝向角。

MapTR 是一种矢量建图方法，首次在 Transformer 框架中实现了 Polyline 格式的地图元素生成。与传统的栅格输出不同，MapTR 直接输出点序列形式的几何结构，精度更高。

Polyline 是什么？

通常每条 polyline 表示为点集 [p1， p2， …， pn]，每个点为 （x， y） 或 （x， y， attr）（带语义）。

MapTR 架构简介

• 图像特征提取：使用 CNN + Transformer 提取多摄像头图像特征；
• BEV 表征生成：将图像 lift 到 3D 后，splat 投影为 BEV 特征；（前两步和动态感知任务那儿一样）
• 结构化 Query 解码：
• 每个 query 对应一条 polyline；
• 生成起点后，通过自回归方式生成后续点序列；

• 多类别建图：支持同时预测多类地图元素，如 divider（车道之间的分隔线）、boundary（道路边界）、arrow（导向箭头）、stopline（停止线） 等。

Occupancy 模型通常采用图像或点云输入，结合深度估计和 3D 重建，生成 Occupancy Grid，即空间占用网格。

什么是 Occupancy Grid？

• 值为 0：free 空间；
• 值为 1：确定被障碍物占据；
• 值介于两者之间：存在不确定性。

典型输出维度为 [B， C， X， Y， Z]，其中 B 为 batch size，C 为类别数或 occupancy 状态数，X、Y、Z 表示 3D 空间上的 voxel 网格。

对这里的 C 再展开聊一下：

• 表示每个 voxel 的被占概率，即该 voxel 被物体占据的概率；
• 输出经过 sigmoid 激活函数，将值映射到 0，1；
• 值越接近 1 → 越确定被物体占据；接近 0 → 自由空间。

# 示例：输出为 [B, 1, X, Y, Z]，经过 sigmoid 得到概率occupancy_logits = model(input)occupancy_probs = torch.sigmoid(occupancy_logits)

【AI加油站】第八部：《模式识别（第四版）-模式识别与机器学习》（附下载）