超94%类别第一！3D点云异常检测与修复新SOTA | ICCV'25

---

  新智元报道  

在制造质检、机器人抓取与3D打印等场景中，3D点云的异常检测日益关键，但实际应用却常遭遇两大难题：

一是物体姿态随机、形变细微，传统离散化表示（体素、点云、视角投影）容易丢失几何细节；

二是检测之后如何修复缺陷，业界缺少能直接生成高保真「正常模板」的方法。

为突破这两道关卡，上海科技大学与密歇根大学联合团队提出Pose-Aware Signed Distance Function（PASDF）框架，通过显式姿态对齐与连续的SDF形状表示，实现「检测—定位—修复」的一体化闭环。

论文地址：https://arxiv.org/abs/2505.24431

代码地址：https://github.com/ZZZBBBZZZ/PASDF

图1 （a）主流离散化点云表征方法与连续表征方法的对比（b）PASDF对异常部位的定位与修复

在3D点云异常检测中，主流方法多依赖离散化表示（体素、点或视角投影），虽具计算效率，却不可避免地牺牲细粒度几何并引入量化失真（图1）：

体素受分辨率与立方级内存约束，难以显式区分轻微的曲面翘曲和尺寸偏差；点云因稀疏采样导致密度不均与表面覆盖不完整；

投影在遮挡与视角变化下信息丢失、畸变明显。再叠加工业现场中物体姿态的随机性，模型难以在对象级稳健定位细微异常。

更关键的是，真实应用（如3D打印与先进制造）不仅需要「发现缺陷」，还要「在位修复」，这要求方法能输出连续、高保真的正常几何模板。

传统基于记忆库的检测依赖间接特征映射，缺乏显式形状重建，难以直接指导修复；而现有重建式方法虽尝试恢复异常点云，但受限于离散点表示，难以生成连续、细节完备的修复模板。

基于上述痛点，迫切需要一种既能在不依赖离散化的前提下兼顾全局形状与细节保真、又对姿态变化鲁棒、并将「检测与修复」统一起来的新范式。

为此，研究人员以连续的带符号距离场（SDF）进行形状表征，并通过规范姿态对齐将姿态与形状显式解耦，使模型聚焦于内在几何差异，从机制上同时满足对象级精准检测与可用修复模板生成的双重需求。

图2 PASDF模型框架图

点云数据因传感器位置或对象摆放的不同，存在多样的姿态变化。

为解决这一问题，研究团队设计了Pose-wise Alignment模块，该模块首先利用体素采样和FPFH特征提取完成全局粗对齐，并借助RANSAC算法筛选可信对应点对。

随后，通过迭代最近点（ICP）算法精细调整位姿，结合动态Chamfer距离反馈机制，有效避免局部最优陷阱，获得稳定且精准的点云姿态标准化。此举最大限度消除了姿态变化干扰，保障后续形状学习聚焦于物体本身的内在结构差异。

隐式符号距离网络：构建连续的形状表达

紧接着，姿态归一化后的点云被用于学习隐式形状表达。

SDF网络模型，将三维坐标x映射为点到物体表面的有符号距离，结合正弦位置编码函数γ(x)，预测距离值：

训练目标为最小化截断L1损失：

其中为通过最近邻距离计算得到的真实有符号距离，为截断阈值。此策略保障模型对细节和边界的敏感度，且容忍部分数据噪音。

评估阶段，针对输入点云，先经Pose-wise Alignment处理得，再由训练好的SDF网络输出点级异常分数：

通过选取异常分数Top-K个点计算整体异常指标：

进一步地，利用学习到的SDF隐式形状，配合Marching Cubes算法从零水平集

提取平滑网格，从中采样生成无异常的重构点云，实现异常点云的自动修复：

表1 PASDF与主流点云异常检测算法在Real3D-AD数据集上的对比

表2 PASDF与主流点云异常检测算法在Anomaly-ShapeNet数据集上O-AUROC指标的对比

表3 PASDF与主流点云异常检测算法在Anomaly-ShapeNet数据集上P-AUROC指标的对比

实验分别采用真实高分辨率的Real3D-AD数据集和合成的Anomaly-ShapeNet数据集进行评估。

如表1所示，PASDF在Real3D-AD测试中取得了0.802的物体级AUROC（O-AUROC）平均分，和0.745的点级AUROC（P-AUROC）平均分，均领先所有对比方法。

尤其在Seahorse、Shell、Starfish和Toffees等细节丰富的类别中，PASDF以其对复杂几何结构的精准捕捉，显著优于其他方法。

实验结果表明，基于全局姿态对齐与隐式符号距离网络的PASDF方法更善于发现细微异常。

在Anomaly-ShapeNet大规模多类测试中（见表2），PASDF取得平均0.900的O-AUROC，且在40个类别中有37个位列第一。

对比之下，其他方法表现起伏明显，例如IMRNet在不同类别间性能波动大，最高得分0.774，最低0.401，显示出稳定性不足。PASDF的均衡表现显示其强大的泛用性和鲁棒性。

为了深入探索各关键模块对3D点云异常检测性能的影响，研究团队开展了系统的消融实验，验证了Pose-wise Alignment模块（PAM）及位置编码等设计对提升模型鲁棒性和准确性的显著贡献。

表4 PAM在Anomaly-ShapeNet上提升多种基线模型异常检测性能的泛化能力

实验结果表明（表4），引入PAM能在多种基线模型中普适地增强异常检测效果。

例如，将PAM集成到基于FPFH特征的BTF模型后，物体级（O-AUROC）和点级（P-AUROC）准确率分别提升9.7%和8.8%

其中，PatchCore(FPFH)在PAM辅助下更是获得了24.6%和28.7%的跃升，充分说明姿态标准化在减少几何模糊、强化浅层特征表达中的关键作用。

即便采用深度学习生成的PointMAE特征，PAM依然带来6.4%和10.4%的优化，显示其对多种特征表示均具备良好适应性。

该统一的几何标准框架使得模型得以聚焦于物体的内在结构特性，而非因姿态差异造成的干扰。

表5 位置编码对修复任务的影响

位置编码提升3D形状重建及细粒度异常捕捉能力

通过对比有无位置编码的模型，定量指标显示未采用位置编码时，模型的Chamfer Distance和Earth Mover’s Distance明显升高（表5），形状重建质量大幅下降（图3）。

定性分析也揭示，缺失位置编码会带来诸如「阶梯状」表面伪影，无法恢复纹理细节丰富的结构。

图3 PASDF重建结果的定性评估。前三列来自Real3D-AD数据集，后三列来自Anomaly-ShapeNet。w/o PE表示未使用位置编码的PASDF

图4 Anomaly-ShapeNet数据集上的异常定位定性结果。

第一作者郑博中为上海科技大学研究生。通讯作者为上海科技大学制造系统中心倪娜研究员与密歇根大学安娜堡分校博士候选人徐晓豪。

上海科技大学制造系统中心（CASE）致力于高端装备制造与鲁棒的工业视觉异常检测研究，研究方向聚焦于多传感器、3D点云、多视角工业异常检测，以及增材制造3D打印过程中异常检测与修复。