论文题目：Anomaly Anything: Promptable Unseen Visual Anomaly Generation

论文地址：https://arxiv.org/pdf/2406.01078v3

代码：https://hansunhayden.github.io/AnomalyAny.github.io/.

创新点

• 提出了一个统一的图像匹配框架MINIMA，可以处理多种跨模态图像匹配任务，包括RGB-IR、RGB-Depth、RGB-Event等。

• 设计了一种简单有效的数据引擎，能够从廉价且丰富的RGB图像数据中生成大规模的多模态图像数据集，解决了现有跨模态数据集规模小、场景覆盖不足的问题。

方法

本文的主要研究方法是提出了一种名为 AnomalyAny 的新框架，该框架利用 Stable Diffusion（SD）的图像生成能力来生成多样且真实的未见异常样本。在测试时，通过条件于单个正常样本，能够为任意对象类型生成带有文本描述的未见异常。框架中引入了注意力引导的异常优化，引导 SD 的注意力集中在生成困难的异常概念上，并引入提示引导的异常细化，结合详细描述以进一步提升生成质量。

不同视觉异常生成方法的比较

本图展示了 AnomalyAny 与其他现有方法的对比。图中展示了三种方法生成的异常样本示例，包括 DRAEM、AnomalyDiffusion 和 AnomalyAny。可以看出，AnomalyAny 能够生成与特定对象相关的多样化和真实的未见异常样本，而无需训练，这与现有方法相比具有优势。

AnomalyAny 的框架结构

本图详细展示了 AnomalyAny 的工作流程，包括测试时正常样本条件化、注意力引导的异常优化和提示引导的异常细化三个核心模块。图中说明了如何利用单个正常样本和文本描述来引导生成过程，并在不同阶段进行优化以提高生成质量。

不同优化策略下的生成结果比较

本图展示了在不同优化策略下生成的异常样本示例，包括仅使用 Stable Diffusion、不使用正常样本条件化、不使用注意力引导优化和不使用提示引导优化的情况。通过比较可以看出，AnomalyAny 的完整流程能够有效地生成更真实的异常样本。

实验结果

本表展示了在1-shot异常检测任务中，使用不同异常生成方法生成的合成异常样本进行训练的检测性能比较。表中列出了多个方法在MVTec AD和VisA数据集上的检测指标，包括图像级和像素级的AUROC（I-AUC和P-AUC）、max-F1分数（I-F1和P-F1）以及Per-Region-Overlap（PRO）。本表还列出了其他少样本异常检测方法的性能，包括PaDiM和PatchCore这两种全样本方法在少样本设置下的表现，以及三种基于CLIP的少样本方法的性能。总体来看，AnomalyAny在多数指标上均取得了最佳性能，显示出其生成的异常样本在提高异常检测任务性能方面的有效性。结果表明，AnomalyAny生成的异常样本不仅质量高，而且具有多样性，能够有效帮助训练出性能更优的异常检测模型。这证明了AnomalyAny在数据稀缺场景下的实用性和有效性。