无人机终于有“全景数据集”了！影石发布AirSim360，实现“能飞、能看、能闭环”的全景模拟

「 首个无人机360°数据采集与仿真平台」

---

做无人机视觉，大家都知道一个尴尬现实：你想让模型尽可能看懂更多语义，但语义标注是一件非常耗时耗力的工作。

尤其是 360° 全景这种视角，优势很明显：目标可能在背后、侧后方、上方，全景一帧就能把“周围发生了什么”装进来。但代价也很现实：真实全景数据难采、难标、规模小，研究常常卡在“没有足够的数据证明方法真的泛化”。

影石团队把无人机第一视角的全景世界搬进了模拟器里，做成一个能闭环交互、能自动采集、还能给出一致标注的全景仿真平台AirSim360，并配套发布 Omni360-X 数据集。

它不是单纯“又一个场景”，而是想把全景理解、行人交互、轨迹生成这些研究里最费人力的部分，变成一套可复用的基础设施。

很多人做全景仿真会走一条“笨办法”：让无人机在原地转一圈，采几张图再拼起来。但作者指出这在效率和真值定义上都有坑：

全景深度本质上是沿视线方向的距离（slant range），和普通透视相机的深度概念不一样，简单拼接会带来标注和几何的不一致。

AirSim360 的思路是从平台层解决：基于 Unreal Engine 的渲染与 AirSim 的无人机体系，把全景采集、标注生成、交互行人、轨迹生成做成统一闭环，并提供工具链直接产出 ERP（等距柱状投影）格式的全景图与对应标签。

更重要的是，他们不是只做“能渲染”，而是给出三块可直接服务研究的能力：

• render-aligned 的多任务标注生成（几何/语义/实体级）；
  

• 可交互行人系统（行为模拟 + 关键点标注 + 跨帧身份一致）；
  

• 自动轨迹生成（Minimum Snap，用少量航点生成满足动力学约束的轨迹）。

这三块组合起来，才让“全景无人机”从演示变成可规模化训练的对象。

图1｜AirSim360 平台概览：作者提出一个面向无人机的 360° 全景仿真平台，基于高质量渲染引擎，实现“能飞、能看、能闭环”的全景无人机模拟。平台同时提供一套集成工具链，支持在不同飞行场景中自动采集用于智能任务的数据（图像与多种标注），让全景系统的训练与评测更容易规模化开展

 全景数据与标注不是“后处理”，而是“渲染对齐”直接产出

AirSim360 强调的是 render-aligned：在渲染阶段就把全景图和对应的几何/语义/实体级信息对齐输出，而不是先拍图再外部拼接补标签。

它支持 ERP 全景格式，并在系统里明确了全景深度的定义方式，避免把透视深度概念硬套到全景上造成偏差。

这对全景任务很关键，因为全景图的投影与几何关系更复杂，一旦标签不一致，会导致模型在学习的过程中，看到的画面和感受到的距离不一致，从而无法对空间建立集合一致性的认识。

图2｜全景图的标准表示与生成方式：作者采用全景领域常用的 等距柱状投影（ERP, equirectangular projection） 来表示 360° 图像。在实现上，他们配置了 6 个参数一致、朝向不同的相机。由于仿真里相机是理想针孔模型（无畸变），六个视角的输出可以通过拼接算法无缝合成为对应的全景图，为后续的全景感知任务提供统一输入

 可交互行人系统，把“人”变成可控变量，而不是随机噪声

平台内置行人系统，支持不同密度、不同类型行为，并提供关键点等标注，同时保证跨帧的身份一致性。

这意味着你可以系统性地研究：人在视野里出现、遮挡、移动时，模型的距离估计、跟踪、规避等能力到底会怎么变化。

作者也基于这一模块构建了 Omni360-Human，并用实验展示加入该数据后对距离估计任务有帮助。

图3｜IPAS（可交互行人系统）的逻辑框架：图中用概念图说明 IPAS 如何把三部分串起来协同工作：行为树（Behavior Tree）：描述“要做什么”的高层行为逻辑；状态机（State Machine）：管理不同行为/状态的切换；消息传递系统（message passing）：让多个自主体之间能够通信与交互。目的是在仿真中生成更真实、可控、可复现的行人互动场景

 自动轨迹生成，把“飞行数据采集”从手工操控升级为程序化生产

他们引入 Minimum Snap 轨迹生成，用少量航点即可生成满足动力学约束的平滑轨迹，用于自动化采集与控制。

这让数据采集不仅规模更大，还能更稳定地覆盖不同速度、转弯、上升下降等飞行模式。

对应地，Omni360-WayPoint 提供大规模航点/轨迹资源，并给出了不同场景的轨迹数量与长度分布统计。

图4｜AirSim360 的核心交互架构与数据生成模块：左侧展示平台闭环交互的三大核心：飞控模块（控制无人机运动）、渲染引擎（生成全景观测与真值）、推理引擎（运行算法并与仿真交互）。中间与右侧则给出三套“为数据而生”的模块：IPAS：可交互行人系统（Interactive Pedestrian-Aware System），自动轨迹生成器（Automated Trajectory Generator），数据采集工具包（Data Collection Toolkit）。它们共同解决“全景数据难采、难标、难控变量”的问题

AirSim360 在实验部分采取的是“平台指标 + 数据价值”两条线。平台侧，首先给出了Omni360-Scene数据集的整体构成，由4个大规模的城市场景构成。同时作者给出了在这些场景中的飞行路径和轨迹信息。

图5｜Omni360-Scene 数据集构成统计：该数据集包含 4 个 Unreal Engine 城市场景，每个场景对应不同风格与尺度的城市环境。作者在各场景中采集全景图像及配套标签（如语义/实体等），表格最后一列统计每个场景的标签总量，用于体现数据覆盖与标注规模

图6｜Omni360-WayPoint 轨迹数据总结：作者在 4 个室外场景中生成不同长度、不同采样密度的飞行路径，并强调轨迹满足物理一致的无人机动力学约束。它主要服务于“可控轨迹下的全景数据采集”和导航/控制类任务评测

更关键的是“数据到底有没有用”。作者用 Omni360-X 的不同子集去服务不同任务，并在多个公开数据/评测上验证增益：

全景深度估计：训练在 Omni360 数据上，在跨域/外域评测上表现更好。

图7｜全景深度估计的量化对比：作者在 UniK3D 模型上进行微调，比较使用 Deep360 与使用 Omni360 数据训练时的效果

全景分割（语义/实体）：加入 Omni360-Scene 后，在 WildPASS 上语义 mIoU 与实体 mAP 有明显提升。

图8 | 全景分割的量化结果

全景 VLN（视觉语言导航）：给出多个视觉语言模型在 SR/SPL/NE 等指标上的结果，并提出一个挺有意思的现象 YOMO（You Only Move Once）：全景视野让无人机在靠近目标时可能几乎不需要频繁转向，单步决策就能接近较优动作。         

图9｜全景视觉语言导航（VLN）评测结果

AirSim360 这类工作看起来像“做平台”，但它实际上在补一个全景研究最缺的环节：规模化、可控、可复现的数据与验证环境。它把全景标注、交互行人、自动轨迹这些高成本部分工程化，顺手还用 Omni360-X 给了研究社区一个可直接训练与对比的基准起点。