CVPR 2023 冠军方案，零样本异常分割新突破！（附论文及源码）

强化学习8个月前发布智源社区

226 0 0

以下文章来源于微信公众号：我爱计算机视觉

作者：小张Tt

链接：https://mp.weixin.qq.com/s/_mJKn4o_U_VjEqlz7DXUFQ

本文仅用于学术分享，如有侵权，请联系后台作删文处理

导读

本文介绍了在零样本异常分割领域的CVPR2023 冠军解决方案。通过引入多模态提示（领域专家知识、图像上下文等）来规范化现代基础模型，实现了在零样本情况下分割任何异常的目标，并在多个基准测试上取得最先进的结果。

本文介绍 CVPR2023 冠军解决方案，零样本异常分割新突破！论文题目为

Winning Solution for the CVPR2023 Visual Anomaly and Novelty Detection Challenge: Multimodal Prompting for Data-centric Anomaly Detection

。

详细信息如下：

作者：Yunkang Cao ;Xiaohao Xu ;Chen Sun等人
作者机构：State Key Laboratory of Digital Manufacturing Equipment and Technology(数字化制造装备与技术国家重点实验室)；Huazhong University of Science and Technology, China(华中科技大学)等
论文链接：https://arxiv.org/pdf/2306.09067.pdf
项目链接：https://github.com/caoyunkang/Segment-Any-Anomaly

本报告介绍了团队Segment Any Anomaly在 CVPR2023 视觉异常与新奇检测挑战赛中的获胜解决方案。该解决方案名为Segment Any Anomaly +（SAA+），通过使用多模态提示实现了零样本异常分割，以及级联现代基础模型的正则化。

首先，通过将基础模型如”Segment Anything”进行组合（SAA），利用多模态先前知识实现异常定位。随后，引入多模态提示（SAA+），这些提示来自领域专家知识和目标图像上下文，从而使基础模型在异常分割中能够进行非参数适应。

所提出的SAA+模型在零样本设置下，在多个异常分割基准数据集上（包括VisA和MVTec-AD）取得了最先进的性能

1 引言

本文介绍了在零样本异常分割领域的研究工作。通过使用基础模型、语言提示和分割方法，作者旨在在图像中进行异常分割。然而，简单的语言提示可能会导致误报问题，而且在领域转移和上下文不明确的情况下表现不佳。为了解决这些问题，作者提出了一种新的框架——Segment Any Anomaly +（SAA+），其中融合了领域专家知识和目标图像上下文。专家知识提供了与目标相关的异常详细描述，而上下文提示能够准确地关联目标图像中的物体上下文和异常预测。这一方法在多个异常分割基准数据集上取得了最先进的性能。总之，通过引入专家知识和目标上下文，作者的方法在零样本异常分割任务中取得了显著的改进。

2 从纯粹的基础模型组合开始，带有语言提示

本节介绍了从纯粹的基础模型组合开始，通过语言提示进行零样本异常分割（ZSAS）的研究。作者构建了一个基线模型SAA，其中包含异常区域生成器和异常区域细化器。然而，实验表明纯粹的语言提示可能导致语言歧义问题。为了解决这个问题，作者提出了引入领域专家知识和目标图像上下文生成多模态提示的方法，从而改进ZSAS的性能。这一方法在减少数据需求和降低实际成本方面具有潜在的优势。

3 利用多模态提示调适基础模型进行异常分割

为了解决SAA中的语言歧义问题并提升其在ZSAS上的能力，作者提出了升级版的SAA+，该版本融合了多模态提示，如图2所示。除了利用预训练基础模型所获取的知识外，SAA+还利用领域专家知识和目标图像上下文生成更准确的异常区域掩码。

3.1 从领域专家知识生成的提示

本节介绍了一种升级版的异常分割方法SAA+，旨在通过利用领域专家知识和多模态提示解决语言歧义问题，并提高零样本异常分割（ZSAS）任务的性能。SAA+利用了专家知识生成更准确的异常区域掩码，包括异常语言提示和异常属性提示。异常语言提示通过类别无关和类别特定提示细化了“异常”提示，异常属性提示考虑了异常的位置和面积信息。通过结合这两种多模态提示，SAA+在异常分割中获得更精确的结果。

3.2 从目标图像上下文中衍生的提示

本节介绍了从目标图像上下文中衍生的多模态提示，用于提高异常区域检测的准确性。异常显著性提示利用显著性图来校准基础模型的置信度分数，而异常置信度提示通过选择最高置信度的候选区域来提供最终的异常区域检测。结合这两种提示以及之前的多模态提示，SAA+被提出，为异常分割任务提供更准确可靠的预测。

4 实验

首先评估SAA/SAA+在几个异常分割基准上的性能。然后，作者广泛研究个人多模态提示的有效性。

4.1 实验设置

数据集： 利用两个带有像素级标注的数据集：VisA和 MVTec-AD ，两者都包括各种对象子集，例如电路板。

评价指标： 以max-F1-pixel (Fp) 作为评估指标来评价ZSAS性能，该指标在最优阈值下衡量像素级分割的F1得分。

实现细节： 采用GroundingDINO和 SAM 的官方实现构建了基准模型SAA。有关从领域专家知识派生的提示的详细信息可以在补充材料中找到。对于从图像内容引发的显著性提示，使用在ImageNet上预训练的WideResNet50 网络，并根据先前的研究将N设置为400。对于异常置信度提示，将超参数K默认设置为5。输入图像分辨率固定为400 × 400。

4.2 主要结果

比较方法： 将作者的最终模型，即Segment Any Anomaly + (SAA+)，与几种当前最先进的方法进行比较，包括WinClip 、UTAD 、ClipSeg和作者的基准模型 (SAA)。对于WinClip，作者报告其在VisA和MVTec-AD上的官方结果。对于其他三种方法，作者使用官方实现并将其调整为ZSAS任务。

定量结果： 如表1所示，SAA+方法在Fp方面的性能明显优于其他方法。尽管WinClip、ClipSeg 和 SAA 也使用了基础模型，但SAA+能更好地发挥基础模型的能力并使其适应ZSAS任务。SAA+的出色性能满足了在不需要训练的情况下分割任何异常的期望。

定性结果： 图3呈现了SAA+与先前竞争方法之间的定性比较，其中SAA+实现了更好的性能。此外，可视化结果显示SAA+能够检测各种类型的异常。

4.3 消融实验

在表2中，作者进行了分量分析，以消融作者框架中的特定提示设计，从而验证了所有多模态提示的有效性，包括语言提示 (PL)、属性提示 (PP)、显著性提示 (PS) 和置信度提示 (PC)。

5 结论

本研究通过引入多模态提示（领域专家知识、图像上下文等）来规范化现代基础模型，实现了在零样本情况下分割任何异常的目标。该方法利用了各种提示来提高基础模型在异常分割任务中的性能，从而在多个基准测试中取得了新的最先进结果。核心方法是使用多模态提示来实现无需额外训练的异常分割，为视觉异常检测领域提供了新的解决思路。

CVPR 2023 冠军方案，零样本异常分割新突破！（附论文及源码）

6推荐阅读

AIHIA | AI人才创新发展联盟2023年盟友招募

AI融资 | 智能物联网公司阿加犀获得高通5000W融资

Yolov5应用 | 家庭安防告警系统全流程及代码讲解

江大白 | 这些年从0转行AI行业的一些感悟

注意：大白梳理对接AI行业的一些中高端岗位，年薪在50W~120W之间，图像算法、搜索推荐等热门岗位，欢迎感兴趣的小伙伴联系大白，提供全流程交流跟踪，各岗位详情如下：

《AI未来星球》陪伴你在AI行业成长的社群，各项福利重磅开放：

（1）198元《31节课入门人工智能》视频课程；

（2）大白花费近万元购买的各类数据集；

（3）每月自习活动，每月17日星球会员日，各类奖品送不停；

（4）加入《AI未来星球》内部微信群；

还有各类直播时分享的文件、研究报告，一起扫码加入吧！

CVPR 2023 冠军方案，零样本异常分割新突破！（附论文及源码）

人工智能行业，研究方向很多，大大小小有几十个方向。

为了便于大家学习交流，大白创建了一些不同方向的行业交流群。

每个领域，都有各方向的行业实战高手，和大家一起沟通交流。

目前主要开设：Opencv项目方面、目标检测方面、模型部署方面，后期根据不同领域高手的加入，建立新的方向群！

大家可以根据自己的兴趣爱好，加入对应的微信群，一起交流学习！

大家一起加油！ CVPR 2023 冠军方案，零样本异常分割新突破！（附论文及源码）

文章版权归作者所有，未经允许请勿转载。

《因果科学周刊》第4期：因果赋能推荐系统

智源社区

328

WOA-HKELM分类预测 | Matlab 鲸鱼算法(WOA)优化混合核极限学习机(HKELM)分类预测

智源社区

246

不错过 AGI 时代的每一波浪潮，极客公园创新大会 2024 全议程公布

智源社区

NeRF原班人马打造Zip-NeRF，错误率降低 8%-76%，训练速度提高 22 倍

智源社区

650

微软Copilot进化完全体，代码解释器、DALL·E 3，ChatGPT有的它都有

智源社区

100

160w+ 未标注图像、3 个维度全方位评估，周玉坤等人开发 RETFound 模型，用视网膜图像预测多种系统性疾病

智源社区

170

暂无评论

暂无评论...

CVPR 2023 冠军方案，零样本异常分割新突破！（附论文及源码）

1 引言

2 从纯粹的基础模型组合开始，带有语言提示