Title: Toward Total Recall in Industrial Anomaly Detection

산업 이상 탐지의 토털 리콜을 향하여

Abstract

• 결함 부품을 찾아내는 것은 대규모 산업 제조에서 중요한 구성 요소입니다.
• 이 작업에서 다루는 특정 문제는 콜드 스타트 문제입니다(콜드 스타트: 명목상의(결함이 없는) 예제 이미지만 사용하여 모델을 구성하는 문제)
• 클래스별로 손으로 만든 솔루션이 가능하지만, 목표는 자동으로 여러 다른 작업에서 동시에 잘 작동하는 시스템을 구축하는 것입니다.
• 최고의 성능을 발휘하는 접근 방식은 ImageNet 모델의 임베딩을 이상값 감지 모델과 결합합니다.
• 이 논문에서 우리는 이 작업 라인을 확장하고 명목 패치 기능의 최대 대표적인 메모리 뱅크를 사용하는 PatchCore를 제안합니다.
• PatchCore는 탐지 및 지역화 모두를 위한 최첨단 성능을 달성하면서 경쟁력 있는 추론 시간을 제공합니다.
• 표준 데이터 세트에서 MVTec AD PatchCore는 99.1%의 이미지 수준 이상 감지 AUROC 점수를 달성하여 차상위 경쟁자에 비해 오류가 절반 이상입니다.
• 우리는 두 개의 추가 데이터 세트에 대한 경쟁력 있는 결과를 추가로 보고하고 소수의 샘플 체제에서 경쟁력 있는 결과를 찾습니다.

1. Introduction

• 이미지에서 비정상적인 패턴을 감지하는 능력은 인간의 인지에 깊숙이 자리 잡은 기능입니다.
• 인간은 적은 수의 정상 사례만 본 후에 데이터의 예상 분산과 이상값을 구별할 수 있습니다.
• 이 작업에서 우리는 이 문제의 계산 버전인 산업 이미지 데이터의 시각적 검사를 위한 콜드 스타트(Commonly also dubbed one-class classification (OCC)) 이상 감지를 다룹니다.
• 일반적인 예의 이미지를 얻는 것은 쉽지만 예상되는 결함 변형을 완전히 지정하는 데 비용이 많이 들고 복잡한 많은 산업 시나리오에서 발생합니다.
• 이 작업은 모델이 훈련 데이터 분포에서 추출한 샘플과 지원되지 않는 샘플을 구별해야 하는 분포 외 감지 문제로 자연스럽게 캐스트됩니다.
• 산업 시각적 결함 분류는 특히 어렵습니다. 오류는 얇은 긁힘과 같은 미세한 변화에서 누락된 구성 요소와 같은 더 큰 구조적 결함까지 다양하기 때문입니다.
• MVTec AD 벤치마크의 몇 가지 예와 제안된 방법의 결과가 그림 1에 나와 있습니다.

---

• 콜드 스타트, 산업용 시각적 이상 감지에 대한 기존 작업은 auto-encoding method [44, 36, 12], GAN[2,39, 43] 또는 기타 감독되지 않은 적응 방법을 통한 명목 분포 모델 학습에 의존합니다[56, 42].
• 최근 Bergman et al. [4] 및 Cohen et al. [10]은 대상 분포에 적응하지 않고 ImageNet 분류의 공통 심층 표현을 기반으로 하는 모델을 제안했습니다.
• 누락된 적응에도 불구하고 이러한 모델은 강력한 이상 감지 성능과 결함의 견고한 공간적 위치 파악을 제공합니다.
• 이러한 기술의 핵심 원리는 테스트 샘플과 명목 샘플 간의 특징 일치와 깊은 특징 표현의 다중 스케일 특성을 활용하는 것입니다.
• 미묘하고 세분화된 결함 세분화는 고해상도 기능으로 처리되는 반면 구조적 편차 및 전체 이미지 수준 이상 감지는 훨씬 더 높은 추상화 수준의 기능으로 처리되어야 합니다.
• 비적응적이기 때문에 이 접근 방식의 고유한 단점은 더 높은 추상화 수준에서 제한된 일치 신뢰도입니다. ImageNet 교육의 상위 수준 추상 기능은 산업 환경에서 요구되는 추상 기능과 거의 일치하지 않습니다.
• 또한 테스트 시간에 이러한 방법으로 사용할 수 있는 명목 컨텍스트는 추출 가능한 고수준 기능 표현의 소수에 의해 효과적으로 제한됩니다.

---

• 이 문서에서 우리는 PatchCore를 (1) 테스트 시간에 사용 가능한 명목 정보를 최대화하고, (2) ImageNet 클래스에 대한 편향을 줄이며, (3) 높은 추론 속도를 유지함으로써 효과적인 해결책으로 제시합니다.
• 단일 패치가 비정상[56, 14]이 되자마자 이미지가 이미 비정상으로 분류될 수 있다는 사실에 의존하여 Patch-Core는 로컬로 집계된 중간 수준 기능 패치를 활용하여 이를 달성합니다.
• 중간 수준 네트워크 패치 기능을 사용하면 PatchCore가 고해상도에서 ImageNet 클래스에 대한 최소한의 편향으로 작동할 수 있으며, 로컬 이웃에 대한 기능 집계는 충분한 공간 컨텍스트를 유지하도록 합니다.
• 그 결과 PatchCore가 테스트 시 사용 가능한 명목 컨텍스트를 최적으로 활용할 수 있도록 하는 광범위한 메모리 뱅크가 생성됩니다.
• 마지막으로 실용적인 적용을 위해 PatchCore는 추출된 패치 수준 메모리 뱅크의 중복성을 줄이고 저장 메모리와 추론 시간을 크게 줄이는 핵심 요소로 명목 기능 뱅크에 대한 욕심 많은 코어세트 서브샘플링[1]을 추가로 도입하여 PatchCore를 만듭니다. 현실적인 산업 사용 사례에 매우 매력적입니다.

---

• 다양한 MVTec AD[5]와 특수 MTD(Magnetic Tile Defects)[26] 산업 이상 감지 벤치마크에 대한 철저한 실험은 산업 이상 감지를 위한 PatchCore의 성능을 보여줍니다.
• MVTec AD 및 MTD에서 최첨단 이미지 레벨 감지 점수를 달성하고 MVTec AD에서 거의 완벽한 점수(AUROC 99:1%)를 달성하여 이전 방법의 감지 오류를 57% 이상 줄일 뿐만 아니라 최첨단 산업 이상 현지화 성능.
• Patch-Core는 데이터 세트에 대한 교육 없이도 빠른 추론 시간을 유지하면서 이를 달성합니다. 따라서 PatchCore는 산업적 이상 탐지에 실용적으로 사용하기에 매우 매력적입니다.
• 또한 추가 실험은 명목 교육 데이터의 일부만 사용하면서 성능면에서 기존 이상 감지 방법과 일치하는 PatchCore의 높은 샘플 효율성을 보여줍니다.

2. Related Work

• 대부분의 이상 탐지 모델은 명목 데이터(nominal data, 즉, 일반적인 정상의 경우의 data인듯)에 내재된 표현을 학습하는 능력에 의존합니다.
• 이것은 대부분 autoencoding model의 사용을 통해 달성됩니다.
• nominal featur 분류의 더 좋은 추정치를 증가시키기 위해서 다음의 것들이 제안되었습니다.
  • extensions based on Gaussian mixture models
  • generative adversarial training objectives
  • invariance towards predefined physical augmentations
  • robustness of hidden features to reintroduction of reconstructions
  • prototypical memory banks
  • attention-guidance
  • structural objectives
  • constrained representation spaces
• GAN[13], 사전 정의된 기하학적 변환 예측 학습[20] 또는 흐름 정규화[42]와 같은 다른 감독되지 않은 표현 학습 방법을 유사하게 사용할 수 있습니다.
• 주어진
• 이러한 접근 방식의 대부분에서 이상 위치 파악은 픽셀 단위 재구성 오류를 기반으로 자연스럽게 이루어지며 GradCAM[47] 또는 XRAI[28]와 같은 돌출 기반 접근 방식은 이상 세분화[52, 42, 45]에도 사용할 수 있습니다.

Industrial Anomaly Detection

• 학습된 명목 표현을 통한 일반적인 이상 탐지에 대한 문헌은 방대하지만 산업 이미지 데이터에는 자체적인 문제가 있습니다[5]. 이에 대해 [4]로 시작하는 최근 작업은 대규모로 사전 훈련된 모델을 사용하여 최첨단 탐지 성능을 보여주었습니다. imageNet[16]과 같은 외부 자연 이미지 데이터 세트를 현재 데이터에 대한 조정 없이 사용할 수 있습니다.
• 유사하게, [14] 최근에 패치 수준 Mahalanobis 거리 측정[33]에 대한 패치 수준 특징 분포 모멘트(평균 및 공분산)를 추정하는 국부적으로 제한된 기능 모음 접근 방식[8]을 활용하는 PaDiM을 제안했습니다.
• 이 접근 방식은 전체 이미지에 대해 연구된 [40]과 유사합니다. 자연 재훈련과 산업 이미지 데이터 간의 분포 이동을 더 잘 설명하기 위해 후속 적응을 수행할 수 있습니다. [6, 45]와 같은 학생-교사 지식 증류 [24] 또는 사전 훈련된 네트워크 기능 [42] 위에서 훈련된 흐름 [17, 30]을 정규화합니다.
• PatchCore에서 사용되는 특정 구성 요소는 SPADE 및 PaDiM과 가장 관련이 있습니다.
  • SPADE는 이미지 및 픽셀 수준의 이상 감지를 위한 별도의 접근 방식으로 사전 훈련된 백본 네트워크에서 추출한 명목 특징의 메모리 뱅크를 사용합니다.
    • PatchCore는 유사하게 메모리 뱅크를 사용하지만 더 많은 명목 컨텍스트가 유지되고 더 잘 맞는 유도성 바이어스가 통합되기 때문에 더 높은 성능을 달성하는 데 중요한 이웃 인식 패치 수준 기능이 있습니다.
    • 또한 메모리 뱅크는 코어셋 서브샘플링되어 고성능에서 낮은 추론 비용을 보장합니다.
  • Coresets는 기본 kNN 및 kMeans 접근 방식[22] 또는 혼합 모델[19]에서 사용 가능한 일부 집합의 구조에 가장 근접하고 현저하게 감소된 비용으로 대략적인 솔루션 찾기를 허용하는 하위 집합을 찾는 방식으로 오랫동안 사용되어 왔습니다[1,9].
    • 보다 최근에 코어세트 기반 방법은 네트워크 가지치기[34], 능동 학습[48] 및 개선된 GAN 교육[49] 또는 표현 학습[49]을 위한 미니 배치의 효과적인 데이터 적용 범위 증가와 같은 딥 러닝 접근 방식에 적용되었습니다. 41].
    • 후자의 3개는 greedy-selection 코어셋 선택 메커니즘을 활용하여 성공했습니다.
    • 메모리 뱅크 기능 공간 커버리지를 근사화하는 것을 목표로 하므로, PatchCore용 greedy coreset 메커니즘을 유사하게 적용합니다.
  • 마지막으로, 이미지 수준 이상 감지 및 이상 세분화 모두에 대한 우리의 패치 수준 접근 방식은 더 높은 이상 감지 감도를 장려하는 것을 목표로 PaDiM과 관련이 있습니다.
    • 우리는 효율적인 패치 기능 메모리 뱅크를 사용하여 테스트 시 평가된 모든 패치에 동등하게 액세스할 수 있습니다. 반면 PaDiM은 패치 수준 이상 감지를 각 패치에 특정한 Mahalanobis 거리 측정으로 제한합니다.
    • 그렇게 함으로써 PatchCore는 훨씬 더 큰 명목 컨텍스트를 사용하여 이상을 추정하는 동시에 이미지 정렬에 덜 의존하게 됩니다.
    • 또한 PaDiM과 달리 입력 이미지는 훈련 및 테스트 중에 동일한 모양이 필요하지 않습니다.
    • 마지막으로 PatchCore는 로컬 공간 분산을 설명하고 ImageNet 클래스에 대한 편향을 줄이기 위해 로컬 인식 패치 기능 점수를 사용합니다.

3. Method

PatchCore 방법은 여러 부분으로 구성되어 있습니다.

• 메모리 뱅크에 집계된 로컬 패치 기능(§3.1),
• 효율성을 높이기 위한 coreset-reduction 방법(§3.2),
• 마지막으로 탐지 및 지역화에 도달하는 전체 알고리즘입니다. 결정(§3.3).

3.1 Local aware patch features (in memory bank)

• Feature representation을 위한 한가지 방법은 네트워크의 기능 계층에서 마지막 level이 되는 것이다.
• 이는 두가지 문제점이있다.
  • 첫번째는 더 지역화된 nominal information을 읽게되는 것이다. 테스트 시 발생한 이상 유형을 사전에 알 수 없기 때문에 다운스트림 이상 탐지 성능에 악영향을 미칩니다.
  • 두번쨰는 ImageNet 사전 훈련된 네트워크의 매우 깊고 추상적인 기능은 콜드 스타트 산업 이상 감지 작업 및 평가된 데이터와 거의 겹치지 않는 자연스러운 이미지 분류 작업으로 편향되어 있습니다.
• 따라서 우리는 제공된 교육 컨텍스트를 사용하기 위해 중간 또는 중간 수준 기능 표현으로 구성된 패치 수준 기능의 메모리 뱅크 M을 사용하여 기능이 너무 일반적이거나 ImageNet 분류에 너무 심하게 편향되지 않도록 할 것을 제안합니다.
• ResNet과 같은 아키텍처의 특정 경우에는 j(-[2,3])를 참조합니다. 패치 표현을 공식화하기 위해 이전에 도입된 표기법을 확장합니다.
• 각 사전 훈련된 i,j의 수용 필드 크기가 1보다 크다고 가정하면 이는 이미지 패치 기능 표현과 효과적으로 관련됩니다.
• 이상적으로, 각 패치 표현은 로컬 공간 변화에 강력한 의미 있는 비정상적인 컨텍스트를 설명할 수 있을 만큼 충분히 큰 수용 필드 크기에서 작동합니다.
• 이것은 스트라이드 풀링을 통해 달성할 수 있고 네트워크 계층 구조를 더 아래로 내려가면서, 생성된 패치 기능이 ImageNet에 더 특화되어 당면한 이상 감지 작업과 덜 관련성이 있는 반면, 교육 비용이 증가하고 효과적인 기능 맵 해상도가 떨어집니다.