点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达
来源：3D视觉工坊
3D视觉硬件汇总，包括结构光3D相机(支持室内外，焊接，机械臂抓取等场景)，相位偏折术、散斑、机械臂抓取和焊接软件，手持扫描仪(支持定位、重定位、稠密建图)、四足狗和小车定位和导航，底盘。点击->查看详情：
无人机（UAV）技术在近年来发展迅猛，已广泛应用于航拍测绘、城市监控、灾害救援、农业巡检等诸多领域。随着应用场景的不断拓展，对无人机采集的视频数据进行高质量的三维场景重建与渲染成为了计算机视觉领域的重要研究课题。单目4D重建（Monocular 4D Reconstruction）能够从单一摄像头的视频流中同时恢复场景的3D空间结构和时间动态变化，对于实现沉浸式虚拟现实体验、数字孪生城市构建以及无人机自主导航等下游任务具有不可替代的应用价值。
然而，无人机场景的4D重建面临诸多独特挑战。传统基于NeRF的方法在处理大规模动态场景时存在训练和渲染速度慢的瓶颈，而新兴的3D Gaussian Splatting（3DGS）方法虽然实现了实时渲染，但直接应用于无人机视频时，动态物体的时空异质性导致严重的鬼影伪影（ghosting artifacts），非均匀几何采样与均匀网格参数化之间的不匹配使得远处细节严重模糊，现有方法难以同时兼顾全局时空一致性和局部动态细节的精准建模。
针对上述痛点，西安电子科技大学联合中山大学团队提出了AdaAnchor4D——一个用于单目无人机动态场景重建的自适应锚点变形框架。该框架通过引入锚点条件化的时空特征聚合机制、解耦的局部几何变形策略以及密度自适应坐标变换模块，系统性地解决了无人机场景中时空异质性带来的鬼影伪影和动态细节模糊问题，在UAV-Arc4D、VisDrone和UAVDT三个数据集上均取得了SOTA性能，同时保持了实时渲染能力。
AdaAnchor4D的核心亮点在于其三大创新模块的协同设计：Anchor-Conditioned Feature Aggregation（ACFA）模块通过锚点特定聚合嵌入和时间信息自适应聚合共享时空特征，有效捕捉动态物体的时序变化规律；Decoupled Local Geometry Deformation（DLGD）模块将锚点状态变形与局部高斯几何变形分离，避免了两者相互干扰导致的重建精度下降；Density-Adaptive Coordinate Warping（DACW）模块根据轴向锚点分布重新参数化特征查询坐标，从根本上缓解了非均匀几何采样与均匀网格参数化之间的不匹配问题。在UAV-Arc4D、VisDrone和UAVDT三个公开数据集上的大量实验表明，AdaAnchor4D在PSNR、SSIM等核心指标上全面超越现有SOTA方法，同时保持了实时渲染性能，为无人机动态场景的高质量4D重建提供了新的范式。
标题：AdaAnchor4D: Anchor-Conditioned Spatiotemporal Feature Aggregation for Monocular UAV 4D Reconstruction
作者：Peiyi Xu, Junpeng Zhang, Guanbin Li, Ronghua Shang, Mingtao Feng, Le Dong, Weisheng Dong, Guangming Shi, Jie Feng
机构：Xidian University, Sun Yat-sen University
原文链接：https://arxiv.org/abs/2607.28320
导读
本文提出了AdaAnchor4D，一个面向单目无人机动态场景4D重建的自适应锚点变形框架。无人机视频场景具有高度复杂的时空异质性，包含快速运动的动态物体、大范围的视角变化以及非均匀的几何分布，这使得现有的3D Gaussian Splatting方法难以同时保证时空一致性和局部动态细节的重建质量。为此，本文设计了三大核心模块：首先，Anchor-Conditioned Feature Aggregation（ACFA）模块利用锚点特定的聚合嵌入和时间信息，从共享时空特征中自适应地提取与每个锚点相关的动态信息，有效建模了场景的时序演化规律；其次，Decoupled Local Geometry Deformation（DLGD）模块将锚点级的状态变形与局部高斯几何变形解耦，使得全局运动和局部形变能够独立优化，显著提升了动态区域的重建保真度；最后，Density-Adaptive Coordinate Warping（DACW）模块根据各轴向的锚点分布密度重新参数化特征查询坐标，从根本上解决了非均匀几何采样与均匀网格参数化之间的不匹配问题。在UAV-Arc4D、VisDrone和UAVDT三个无人机基准数据集上的大量实验验证了该方法的有效性，AdaAnchor4D在多项图像质量指标上均达到了SOTA性能，同时具备实时渲染能力，为无人机场景的时空重建开辟了新的技术路径。
效果展示
图 1：单目无人机拍摄场景在空间区域与时间维度上存在显著的时空异质性。对共享时空特征采用固定聚合方式，无法适配多变的局部动态变化，极易造成画面模糊与重影伪影。本文提出锚点条件化特征聚合模块，依托锚点专属嵌入特征与时序信息，自适应对共享特征重新赋权，以此优化动态场景建模效果。 
引言
随着无人机（Unmanned Aerial Vehicle, UAV）技术的飞速发展，基于无人机航拍视频的场景重建与渲染已成为计算机视觉和图形学领域的热点研究方向。4D重建旨在从时序视频序列中恢复场景的3D空间结构及其随时间的动态变化，是构建数字孪生、实现虚拟现实沉浸式体验以及支持无人机自主导航和场景理解的核心基础技术。与传统的3D静态重建不同，4D重建需要同时处理空间几何和时间动态两个维度的信息，对模型的时空建模能力提出了更高的要求。
在动态场景重建领域，NeRF（Neural Radiance Fields）及其变体（如D-NeRF、HyperNeRF等）通过隐式神经网络表示场景的辐射场和变形场，取得了令人印象深刻的重建效果。然而，NeRF类方法由于需要逐像素的光线采样和体积渲染，训练和推理速度极慢，难以满足实时应用需求。近年来，3D Gaussian Splatting（3DGS）以其显式的3D高斯表示和高效的光栅化渲染管线，实现了实时渲染速率下的高质量重建，迅速成为场景重建领域的新范式。在此基础上，Deformable-3DGS、4DGS等扩展方法通过引入变形场来建模动态场景，在人体运动、面部表情等动态重建任务中取得了显著进展。
尽管上述方法在一般动态场景中表现优异，但直接将其应用于无人机航拍视频时仍面临严峻挑战。无人机场景具有独特的时空异质性特征：首先，无人机的高空俯瞰视角导致场景中存在大量远距离小目标和近距离大目标的尺度差异，非均匀的几何分布使得均匀网格参数化难以有效覆盖所有区域；其次，无人机飞行过程中视角的快速变化与地面动态物体的运动相互叠加，使得时空特征的高度耦合增加了建模难度；最后，现有变形场方法通常将全局状态变形和局部几何变形耦合在一起，在处理无人机场景中复杂的多尺度动态物体时，容易出现鬼影伪影和细节模糊。
基于以上分析，本文提出了一种全新的自适应锚点变形框架——AdaAnchor4D，专门针对单目无人机动态场景的4D重建任务。核心思想是通过锚点（Anchor）机制将复杂的时空变形建模分解为多个可控的子问题：利用锚点条件化特征聚合实现时空特征的自适应提取，通过解耦变形策略分离全局状态和局部几何的变化，并借助密度自适应坐标变换解决非均匀采样问题。这一系统性设计使得AdaAnchor4D能够在保持实时渲染性能的同时，显著提升无人机动态场景的重建质量。
主要贡献
本文的主要贡献可以概括为以下三个方面：
• 提出了Anchor-Conditioned Feature Aggregation（ACFA）模块，通过引入锚点特定的聚合嵌入和时间信息，从共享时空特征中自适应地提取与每个锚点相关的动态信息。该模块有效建模了无人机场景中动态物体的时序演化规律，显著减少了鬼影伪影的产生。
• 设计了Decoupled Local Geometry Deformation（DLGD）模块，将锚点级的状态变形与局部高斯几何变形进行解耦。这一解耦策略使得全局运动和局部形变能够独立优化，有效避免了两者相互干扰导致的重建精度下降，大幅提升了动态区域的渲染保真度。
• 提出了Density-Adaptive Coordinate Warping（DACW）模块，根据各轴向的锚点分布密度重新参数化特征查询坐标。该模块从根本上缓解了无人机场景中非均匀几何采样与均匀网格参数化之间的不匹配问题，使得远距离细节和高密度区域能够得到更精准的特征查询和重建。
方法
AdaAnchor4D的整体框架以3D Gaussian Splatting为基础表示，通过引入自适应锚点变形机制来建模无人机动态场景的时空变化。具体而言，框架首先在场景中初始化一组可学习的锚点（Anchors），每个锚点关联一组3D高斯椭球体并维护一个时不变的状态特征。对于给定的时间戳，框架通过ACFA模块从共享时空特征中聚合每个锚点的时序动态信息，随后通过DLGD模块分别进行锚点状态变形和局部高斯几何变形，最后通过DACW模块对特征查询坐标进行密度自适应变换，生成最终的高斯参数用于可微分光栅化渲染。
ACFA模块是AdaAnchor4D的核心创新之一，其设计灵感来源于观察到不同锚点需要关注不同区域的时空信息。该模块首先为每个锚点学习一个特定的聚合嵌入（aggregation embedding），然后利用该嵌入作为查询（query），结合时间编码信息，通过交叉注意力机制从共享时空特征图中自适应地聚合相关信息。DLGD模块则将传统的统一变形场分解为两个子模块：锚点状态变形网络负责建模全局的运动状态变化（如平移、旋转），而局部几何变形网络则专注于每个高斯椭球体相对于其关联锚点的局部形变（如缩放、形变）。DACW模块通过统计各轴向锚点的分布密度，将均匀网格的查询坐标映射到与非均匀锚点分布相匹配的坐标空间，使得特征查询能够在密度较高的区域获得更高的分辨率。
在训练阶段，AdaAnchor4D采用端到端的可微分训练策略，以光度损失（photometric loss）和SSIM损失作为主要监督信号，同时引入额外的正则化项来约束锚点分布和变形场的平滑性。整个框架支持从单目视频序列中自监督学习，无需额外的深度监督或动态物体标注。在推理阶段，给定任意时间戳和视角，框架能够通过前向传播快速生成对应的高斯参数，并利用3DGS的高效光栅化管线实现实时渲染。得益于锚点机制的稀疏表示特性，AdaAnchor4D在保持高重建质量的同时，模型参数量和内存占用均显著低于传统密集变形场方法。
实验结果
本文在三个具有代表性的无人机基准数据集上进行了全面的实验评估：UAV-Arc4D数据集专注于无人机航拍的4D场景重建，包含多种城市和自然环境下的动态场景；VisDrone数据集是大规模无人机视觉基准，涵盖多种天气和光照条件下的航拍视频；UAVDT数据集则聚焦于无人机视角下的车辆检测与跟踪场景。评估指标包括PSNR、SSIM和LPIPS等标准图像质量指标，对比方法涵盖了NeRF类方法（D-NeRF、HyperNeRF）和3DGS类方法（3DGS、Deformable-3DGS、4DGS、SC-4DGS等）。所有实验在单张NVIDIA GPU上进行，训练和推理均在相同硬件条件下进行公平对比。
实验结果表明，AdaAnchor4D在三个数据集上均取得了SOTA性能。在UAV-Arc4D数据集上，AdaAnchor4D的PSNR相比次优方法提升了显著幅度，SSIM指标同样取得最优，LPIPS指标大幅领先，表明其在感知质量上的明显优势。在VisDrone和UAVDT数据集上，AdaAnchor4D同样保持了一致的领先优势，特别是在包含大量动态物体和远距离目标的复杂场景中，性能提升尤为显著。定性对比结果进一步验证了AdaAnchor4D在消除鬼影伪影、保留动态细节方面的优越性。值得一提的是，AdaAnchor4D在保持高质量重建的同时，渲染速度达到了实时级别，充分满足了无人机场景重建的实际应用需求。
为验证各模块的有效性，本文进行了详尽的消融实验。移除ACFA模块后，模型在动态物体区域的PSNR出现明显下降，鬼影伪影显著增加，验证了自适应特征聚合对时序建模的重要性。移除DLGD模块（即恢复耦合变形）后，动态区域的重建质量下降，表明解耦策略有效减少了全局运动与局部形变之间的相互干扰。移除DACW模块后，远距离区域的重建质量明显退化，证实了密度自适应坐标变换对解决非均匀采样问题的关键作用。此外，对锚点数量和时间编码方式的实验表明，AdaAnchor4D对超参数选择具有良好的鲁棒性，在合理的锚点数量范围内均能保持稳定的优异性能。
总结 & 未来工作
本文提出了AdaAnchor4D，一个面向单目无人机动态场景4D重建的自适应锚点变形框架。通过精心设计的ACFA、DLGD和DACW三大核心模块，该方法系统性解决了无人机场景中时空异质性导致的鬼影伪影和动态细节模糊问题。在UAV-Arc4D、VisDrone和UAVDT三个基准数据集上的大量实验充分验证了该方法的有效性，AdaAnchor4D在多项指标上全面超越现有SOTA方法，同时保持实时渲染性能，为无人机动态场景的高质量4D重建提供了新的技术范式。
尽管AdaAnchor4D取得了优异的重建效果，但仍存在进一步改进的空间。未来工作中，可以考虑将该方法扩展到多无人机协同重建场景，利用多视角信息进一步提升重建的完整性和精度。此外，引入更高效的锚点自适应增长和剪枝策略，有望在保证重建质量的同时进一步降低计算开销。探索将AdaAnchor4D与语义理解任务相结合，实现语义引导的动态场景重建，也是值得深入研究的方向。
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
。
扫码添加微信，备注：姓名+方向+单位，邀请入群。
