论⽂标题：SeaS: Few-shot Industrial Anomaly Image Generation with Separation and Sharing Fine-tuning
作者：Zhewei Dai, Shilei Zeng, Haotian Liu, Xurui Li, Feng Xue, Yu Zhou
论⽂链接：https://arxiv.org/abs/2410.14987
代码链接：https://github.com/HUST-SLOW/SeaS
少样本⼯业异常⽣成迎来「全能选⼿」
当前先进制造领域的产线良率往往超过 98%，因此异常样本（也称为缺陷样本）的搜集和标注已成为⼯业质检的核⼼瓶颈，过少的异常样本显著限制了模型的检测能⼒，利⽤⽣成模型扩充异常样本集合正逐渐成为产业界的主流选择，但现有⽅法存在明显局限：
要么仅能完成单⼀任务（如只⽣成异常或正常产品），要么需针对不同异常类型单独建模，不仅⽣成能⼒受限，还因依赖⼤量专⽤模型难以适应复杂场景。
为此，华中科技⼤学慢⼯团队（SLOW Team）提出统⼀的少样本⼯业⽣成模型 SeaS。该模型依托 U-Net 的差异化学习能⼒，精准捕捉正常产品的细微变化与异常区域的丰富差异，仅需要 1-3 张训练样本，通过单⼀模型即可同步实现多样化异常⽣成、全局⼀致的正常产品合成及精确异常掩码标注⽣成，为⼯业场景⽣成任务建⽴了新的技术基准，有效推动了相关领域的技术进步。
摘要：SeaS 如何突破
⼯业场景⽣成瓶颈？
针对产业界对多样化异常样本⽣成、⾼效建模及精准掩码标注的需求，SeaS 基于 「异常区域变化丰富、正常产品变化细微」 的本质差异，实现了技术突破：
设计⾮平衡异常⽂本提示（UA），以多个异常词元与单个正常词元的⾮对称结构，精准控制异常区域的变化度；
提出解耦异常对⻬（DA）损失和正常图像对⻬（NA）损失，分别保证异常多样性与正常产品真实性；
构建精细化掩码预测分⽀，融合 U-Net 判别特征与⾼分辨率 VAE 特征，⾸次实现像素级精确异常掩码⽣成。
在 MVTec AD、VisA 等主流⼯业数据集上，SeaS 全⾯超越现有少样本⼯业异常⽣成⽅法。基于其⽣成数据训练的有监督分割模型，异常分割 IoU 平均提升 12.79%，充分验证了该框架的有效性。
创新点：三⼤设计
推动⼯业场景⽣成技术升级
1. 统⼀的少样本⽣成框架： 突破传统单⼀任务局限，仅需要 1-3 张训练样本，通过⼀个模型即可同步实现多样化异常⽣成、全局⼀致的正常产品合成及像素级精确掩码标注，为领域设⽴新标杆。
2. 分离与共享微调机制： 分别对正常产品和异常的变化程度建模，提升了⽣成过程的精准控制能⼒，兼顾异常多样性与正常产品⼀致性。
3. 精细化掩码预测： 创新的精细异常掩码预测分⽀，通过级联融合 U-Net 判别特征与⾼分辨率 VAE 特征，实现像素级精确的异常标注，有效提升了下游模型性能。
⽅法：SeaS 的技术架构与实现逻辑
整体框架：分离与共享的微调⽹络
SeaS 的核⼼在于 「分离建模、共享学习」，仅需要少量的 1-3 张训练样本，通过同⼀个 U-Net 架构同时处理正常与异常的⽣成。具体流程为：
1. 设计⾮平衡异常⽂本提示，包含分别表征异常和正常产品的词元集合；
2. 提出解耦异常对⻬（DA）损失，将异常图像区域与异常词元绑定；
3. 利⽤正常图像对⻬（NA）损失，使正常词元能够表达全局⼀致的正常产品；
4. 采⽤混合训练策略，上述两个训练过程针对异常和正常图像分别处理，并基于共享的 U-Net 架构实现。
不均衡异常⽂本提示：分离建模异常与正常产品
传统⽂本提示中，正常与异常词元数量均衡，难以体现⼆者的本质区别 —— 正常产品变化细微，异常区域则变化丰富。SeaS 提出的⾮平衡异常⽂本提示（UA）针对性解决这⼀问题：
结构设计：UA 提示包含 1 个正常词元 <ob> （表征正常产品）和多个异常词元 <df_n>（表征异常），每种异常类型对应⼀组专属的异常词元。
训练⽅式：使⽤正常图像训练 <ob> 的嵌⼊，异常图像训练 <df_n > 的嵌⼊，实现正常与异常特征的分离学习。
词元数量影响：如图 3（a）所示，1 个 <ob> 即可表达正常产品并保证全局⼀致性，多个 < ob > 会聚焦局部特征⽽破坏全局⼀致性；多个 <df_n> 是控制异常⽣成多样性的必要条件（不同词元关注异常的不同属性），但数量过少（如 N=1）易导致 「异常缺失」，过多（如 N=8）会增加多样性但降低真实性。
解耦异常对⻬损失：精准对⻬异常区域与词元
针对少量异常图像及其对应掩码，SeaS 提出解耦异常对⻬（DA）损失，实现异常词元 <df_n> 与异常区域的精准绑定：
损失定义：
其中，
为第 n 个异常词元对应的交叉注意⼒图，N 为异常词元数量，L 为⽤于对⻬的 U-Net 层数，
为⼆值掩码（异常区域为 1，背景为 0），
为正常词元对应的交叉注意⼒图，⊙为元素积。
作⽤机制：第⼀项根据掩码
将异常区域与 <df_n > 对⻬；第⼆项降低正常词元注意⼒图在异常区域的响应，避免正常词元与异常区域对⻬。
异常图像总损失：
结合噪声预测损失，通过对异常图像的前向扩散与噪声预测，进⼀步提升异常⽣成的真实性与多样性。
正常图像对⻬损失：平衡正常产品的⼀致性与多样性
增加正常词元 <ob> 数量虽能提升⽣成多样性，但可能降低正常图像真实性并破坏全局⼀致性；⽽仅将单个 < ob> 与少量训练图像对⻬，⼜易出现过拟合。为此，SeaS 提出正常图像对⻬（NA）损失：
损失定义：
计算过程：对正常图像使⽤随机噪声和时间步进⾏前向扩散，得到带噪潜变量，将其与正常词元嵌⼊输⼊ U- Net 预测噪声，再与随机噪声计算损失，从⽽学习具有全局⼀致性的正常产品。
混合训练策略：提升异常⽣成多样性与模型泛化性
针对传统⽅法为每种异常单独建模导致的过拟合问题，SeaS 提出分离与共享微调策略：
总损失函数：结合异常损失与正常损失，实现统⼀优化。
训练流程：将某产品的所有异常图像整合为统⼀集合，与正常图像训练集混合抽样组成批次进⾏训练。
优势：如图 3（c）所示，缓解单类异常样本有限导致的过拟合，提升异常⽣成的多样性与真实性，⽀持⽣成未⻅异常。
精细化掩码预测分⽀：给异常 「贴」 上精准标签
为提升异常掩码的像素级精度，SeaS 设计级联的精细化掩码预测（RMP）分⽀，嫁接于训练后的 U-Net，通过 「粗特征提取 + 精细优化」 两步⽣成精准掩码：
U-Net 粗糙特征提取
从 U-Net 解码器的 「up-2」 和 「up-3」 层提取特征，经通道压缩、拼接及 Transformer 融合，得到对异常具有强判别性的粗特征。
掩码精细化模块
针对粗特征上采样后易丢失细节的问题，设计三级串联的掩码精细化模块（MRM）：
每级模块融合 VAE 的⾼分辨率特征与待优化的判别特征，逐步提升特征的分辨率与判别性；
最终输出的特征兼具⾼分辨率与强判别性，为精准掩码⽣成奠定基础。
损失函数
采⽤ Focal Loss 对异常与正常图像的⾼低分辨率掩码进⾏监督，确保异常区域标注精准，同时抑制正常区域的误判，提升掩码预测精度。
实验结果
少样本⼯业异常⽣成性能领先 SOTA：保真度与多样性双重突破
在少样本⼯业异常⽣成的关键指标⽐拼中，SeaS 表现突出：
各项核⼼指标全⾯优于现有⽅法，IS 分数更⾼，说明⽣成的图像真实度更强；IC-LPIPS 表现更优，体现出异常类型的丰富多样性。
从⽣成效果看（图 5），异常图像细节清晰，类型丰富，且掩码与异常区域精准匹配；正常图像（图 6）全局⼀致性好，真实感强，充分验证了 SeaS 在少样本⽣成任务中的优势。
助⼒异常检测性能提升：多⽅法效果显著优化
SeaS ⽣成的数据能有效赋能下游异常检测任务：
将其⽣成的异常样本应⽤于基于合成数据的检测⽅法（如 DRAEM、GLASS），多数据集上的检测性能均有提升，漏检情况明显改善（表 2）。
⽤⽣成的正常图像扩充训练集后，⽆监督检测⽅法的误检减少，各项指标得到优化，展现出 SeaS 在实际应⽤中的价值（表 3）。
增强有监督分割模型能⼒：指标提升幅度明显
利⽤ SeaS ⽣成的 1000 对图像 - 掩码对训练有监督分割模型，效果显著：
在 MVTec AD、VisA、MVTec 3D AD 数据集上，平均 IoU 分别提升 11.17%、11.71%、15.49%；
图像级 AUROC 相应提升 2.77%、5.92%、6.68%（表 4），充分证明了 SeaS ⽣成数据对提升分割模型性能的积极作⽤。
实验结果表明，LFD（https://github.com/HUST-SLOW/LFD）是有监督的异常分割模型的最优选择。
LFD 最初是为道路分割任务开发的，它会⽤到 ResNet-18 第⼀阶段的低级特征。⽽低级特征在异常分割任务中也⼤有可为，于是将它的应⽤拓展到了有监督异常分割领域。
LFD 采⽤双边结构设计：先通过空间细节分⽀，借助 ResNet-18 第⼀阶段提取低级特征；再通过上下⽂语义分⽀⾼效提取上下⽂特征，该分⽀对输⼊图像进⾏⾮对称下采样，还引⼊了聚合模块，能达到媲美 ResNet-18 第三阶段的感受野，计算量却更⼩。最后，通过选择性融合模块计算低级特征与上下⽂特征间的像素级注意⼒。
在异常分割中，LFD ⽤ SeaS ⽣成的图像 - 掩码对进⾏训练。它的模型⼤⼩仅 0.936M，远⼩于 BiSeNetV2（3.341M）和 UperNet（64.042M），但像素 AP 分数反⽽⾼出 5.34%，F1 分数⾼出 3.99%。
核⼼结论
本研究提出统⼀的少样本⼯业异常⽣成⽅法 SeaS，探索了异常具有⾼度变化⽽正常产品保持全局⼀致性这⼀内在特性。通过设计分离与共享的微调策略，对正常产品和异常的不同变化模式进⾏建模，使精细化掩码预测分⽀能够利⽤判别性特征预测精确掩码。SeaS 显著提升了基于合成数据的异常检测⽅法和有监督异常检测⽅法的性能，并赋予了有监督分割模型更优异的表现。⼤量实验验证了该⽅法在⼯业异常⽣成与检测任务中的有效性。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：liyazhou@jiqizhixin.com
