点击下方卡片，关注「3D视觉工坊」公众号
选择星标，干货第一时间送达

来源：我爱计算机视觉

「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！

近年来，大规模点云预训练模型已成为3D视觉领域的基石，但其巨大的模型体积和高昂的微调成本，正逐渐成为研究和应用落地的一大瓶颈。如何在保持卓越性能的同时，将微调的“开销”降到最低？

近日，一项已被计算机视觉顶刊 IEEE TPAMI 接收的工作——PointGST (Point cloud Graph Spectral Tuning)，为这一问题提供了全新的解决方案。这项由华中科技大学团队提出的全新参数高效微调（PEFT）方法，创新性地将视角落在了“谱域（Spectral Domain）”，仅用0.67%的可训练参数，就在ScanObjectNN数据集上，将分类精度首次突破99%，达到了惊人的99.48%，建立了全新的SOTA，几乎宣告了该数据集的性能饱和。此外，该方法还可泛化到点云分割，点云检测，甚至点云补全任务中，并取得优异表现。

论文标题： Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning
论文链接： https://ieeexplore.ieee.org/abstract/document/11106720/
代码链接： https://github.com/jerryfeng2003/PointGST

一、挑战：空间域微调的“迷雾”

预训练+微调（Pre-train, Fine-tune）已是当前AI领域的主流范式。然而，在点云领域，传统的完全微调（Full Fine-tuning）策略需要更新模型的所有参数，这不仅消耗海量的GPU显存和存储资源，也让模型的快速部署和迭代变得异常困难。为了解决这个问题，学术界提出了多种参数高效微调（PEFT）方法，如IDPT、DAPT等。这些方法通过冻结主干网络、仅训练少量可学习模块来降低成本。然而，它们普遍存在一个核心局限：所有操作都在空间域（Spatial Domain）进行。这会带来两大挑战：

特征混淆（Token Confusion）：预训练模型学习的是通用知识，在面对下游具体任务时，从冻结模型中提取的特征可能会产生混淆。例如，即使点云上两个几何结构相似的区域，其输出特征也可能差异巨大，这给后续的微调带来了困难。
内在信息缺失（Missing Intrinsic Information）：下游任务点云自身独特的几何结构和拓扑关系（即内在信息）对于精准分析至关重要。现有的PEFT方法很少能显式地利用这些宝贵信息。

二、破局：从“空间”到“谱域”的跃迁

面对空间域的瓶颈，该研究的作者团队敏锐地发现，谱域为解决上述问题提供了绝佳的思路。

核心思想： 将点云特征从复杂的空间域，通过图傅里叶变换（GFT）转换到信息更纯粹、结构更清晰的谱域进行微调。这就像处理一段嘈杂的音频信号，直接在时域（相当于空间域）上分析可能一团乱麻，但通过傅里叶变换到频域（相当于谱域）后，各种频率成分一目了然，处理起来就得心应手了。

PointGST正是基于这一洞察，设计了轻量级的点云谱域适配器（PCSA）。其工作流程可以概括为：

构图与谱分解：将下游任务的原始点云构建成多尺度的图，并通过拉普拉斯矩阵的特征分解，得到一组能够反映点云内在几何结构的正交谱基。这组基是数据原生的，包含了任务的“先验知识”。
信号上图，谱域转换：将冻结的预训练模型输出的特征视为图上的信号，利用第一步得到的谱基，通过图傅里叶变换（GFT）将其投影到谱域。
谱域微调：在谱域中，混淆的特征信号被正交的谱基自然地解耦（de-correlated），优化过程变得更加轻松高效。PCSA仅需一个共享线性层，就能在谱域上对特征进行精准适配。
返回空间域：微调完成后，通过逆图傅里叶变换（iGFT）将特征送回空间域，与主干网络无缝衔接。

通过这一系列操作，PointGST巧妙地利用正交性化解了特征混淆，并将下游点云数据的内在结构信息融入微调过程 ，实现了知识的高效、精准迁移。

三、实验结果

PointGST的性能到底有多卓越？一表胜千言！

该研究在多个权威数据集和任务上进行了详尽的实验，结果全面超越了现有方法：

登顶性能之巅：在最具挑战性的ScanObjectNN数据集上，PointGST将PointGPT-L模型的精度从97.2%提升至98.97% （OBJ_BG），甚至在Voting设置下达到了99.48%，成为首个在该榜单上突破99%大关的方法 。在ModelNet40、ShapeNetPart等八个主流数据集上均取得了SOTA或极具竞争力的表现。
极致的参数效率：达到上述惊人性能，PointGST的可训练参数量仅为2.4M，占PointGPT-L（360.5M）完全微调参数的0.67% 。相比其他PEFT方法，PointGST在参数更少的情况下，性能依然遥遥领先。
卓越的泛化能力：PointGST被应用于Point-BERT、Point-MAE、ACT、RECON等多种不同结构和大小的预训练模型上，均表现出稳定且显著的性能提升。这解决了现有PEFT方法在不同模型上表现不一，甚至性能下降的痛点。
数据高效，无惧小样本：在少样本学习场景下，PointGST同样表现出色。仅使用2%的训练数据，其性能就远超其他PEFT方法，展现了在数据稀缺场景下的巨大潜力。