提出单次前向免训练零样本异常检测方法RADIOlogy
原文:RADIOlogy: A Single-Pass Approach to Training-Free Zero-Shot Anomaly Detection
当前的零样本异常检测方法往往依赖复杂的提示学习技术或计算开销高昂的滑动窗口策略,以实现细粒度的视觉对齐来检测小尺度异常。这种依赖源于标准CLIP架构的根本局限:[CLS] token注意力和空间patch池化难以捕捉细微的局部异常特征。虽然提示学习方法旨在弥合这一差距,但它们通常需要来自辅助数据集的大量真实分割掩码,而这些在专业领域中往往难以获得。在本工作中,我们展示了视觉-语言模型中多头注意力池化的一个新兴特性:开箱即用的卓越零样本异常定位与检测能力。我们将这一特性转化为一种单次前向的异常检测技术RADIOlogy,它无需密集的窗口化执行,并显著优于其他免训练基线。该方法依赖于一种简单的对比评分方式,即比较视觉特征与一组正常和异常提示之间的平均相似度。此外,我们利用RADIO模型的凝聚特征,通过密集异常细化流程增强像素级异常分割。最后,我们展示了免训练零样本异常检测的视觉-语言系列技术如何以极少的修改成功应用于医学领域。代码见 https://github.com/jacomof/RADIOlogy。作者:Joaquín Figueira, Giacomo D'Amicantonio, Egor Bondarau。类别:cs.CV