在CV领域，通用分割模型SAM的发展尤为瞩目，关于它变体的研究也逐渐成为学术热门，高质量成果真不少，比如分割天花板Fast-SAM，与SAM精度相当，速度提升了50倍！
另外还有AAAI的Robust SAM、复旦团队的ClipSAM...这些改进创新基本围绕模型轻量化、提示机制自动化、多任务适配、领域定制化等多个方向展开，尤其现在很多变体都是从自动prompt改进的，属于提示机制优化，典型案例MedSAM2。
如果大家感兴趣，推荐从以上方向入手，而且最好赶紧做，AI技术的迭代是以天为单位，睡一觉可能就被抢先了。为了帮大家节省时间，我整理了15个SAM前沿改进方案，开源代码基本有，需要的同学抓紧上车！
扫码添加小享，回复“SAM改进”
免费获取全部论文+开源代码
Fast Segment Anything
方法：论文提出FastSAM方法，分两阶段完成分割：先全实例分割，再提示引导选择。用CNN替代SAM的Transformer架构，仅用1/50数据训练，性能相当但速度快50倍，适合实时分割。
创新点：
将“分割任何事物”任务分解为全实例分割和提示引导选择两个阶段，降低任务复杂度。 使用基于CNN的YOLOv8-seg替代SAM中的Transformer架构，大幅提高计算效率。 仅用SA-1B数据集的1/50进行训练，实现与SAM相当性能，显著减少计算和资源需求。
AerOSeg: Harnessing SAM for Open-Vocabulary Segmentation in Remote Sensing Images
方法：AerOSeg方法结合CLIP和SAM技术，解决了遥感图像的开放词汇分割问题。它通过SAM增强空间细化，用语义反投影模块保持语义一致，再经多尺度注意力解码器生成高精度分割图，显著提升了分割性能和泛化能力。
创新点：
提出AerOSeg框架，结合CLIP和SAM特征，针对遥感图像开放词汇分割任务。 引入语义反投影模块和损失函数，保持SAM语义信息，提升分割精度。 在三个基准数据集上验证，性能优于现有方法，平均h-mIoU提升2.54。
扫码添加小享，回复“SAM改进”
免费获取全部论文+开源代码
Robust SAM: On the Adversarial Robustness of Vision Foundation Models
方法：本文提出SAM对抗鲁棒性框架，含跨提示攻击和少参数防御。跨提示攻击破坏共同特征，降低分割精度；少参数防御通过训练卷积层少量参数并SVD约束，增强鲁棒性同时保性能。
创新点：
提出跨提示攻击方法，能同时对SAM的点提示和框提示进行有效攻击，提升攻击迁移性。 设计少参数防御策略，仅训练SAM卷积层的少量参数，降低防御成本。 利用奇异值分解（SVD）约束参数空间，平衡SAM的鲁棒性和原始性能。
SAM-Med3D: Towards General-purpose Segmentation Models for Volumetric Medical Images
方法：SAM-Med3D通过将SAM的2D架构升级为全3D架构，使用大规模3D医学图像数据集进行训练，显著提升了3D医学图像分割的性能和效率，减少了所需的提示点数量。
创新点：
提出SAM-Med3D，将SAM从2D扩展到全3D架构，专门用于3D医学图像分割。 使用大规模3D医学图像数据集（131K掩码，247类别）训练，显著提升分割性能。 在多种解剖结构和模态上验证，与2D方法相比，SAM-Med3D在效率和泛化能力上表现出显著优势。
扫码添加小享，回复“SAM改进”
免费获取全部论文+开源代码
