Agentic Ensemble with Vision-Language Models for Visual Anomaly Detection

서로 다른 이상탐지 모형의 예측이 충돌할 때 비전-언어 모형이 정해진 융합 동작 중 하나를 골라 최종 판정을 만드는 사후 훈련 융합 문제를 풀었다.

이 논문은 한마디로 여러 이상탐지기의 예측이 서로 충돌할 때 비전-언어 모형(VLM)이 정해진 동작 안에서 융합 방식을 골라주는 AnomalyAgent 프레임워크다. 탐지기 자체는 고정하고, 점수와 이상 지도의 불일치를 모아 충돌 점수를 계산해 임계값을 넘는 견본만 VLM에 보낸다. VLM은 이미지 점수 융합 동작과 지도 융합 동작을 각각 하나씩 골라 최종 점수와 위치 지도를 만든다. MVTec AD와 VisA에서 모든 설정에서 동일 가중 평균 융합을 앞섰고 7개 추가 벤치마크에서도 이득이 유지됐다.

핵심 요약

• 고정된 사전학습 이상탐지기들의 점수와 이상 지도를 정규화하고 불일치 통계를 모아 구조화된 증거 상태를 만들었다.
• 충돌 점수가 임계값 τ = 0.5를 넘는 견본만 VLM을 호출해 나머지는 결정론적 예비 융합 결과를 그대로 썼다.
• VLM은 합의, 로버스트 집계, 탐지기 가중치, 불일치 수정 같은 정해진 동작 중 이미지 점수 동작과 지도 동작을 하나씩 골라 새 마스크를 자유로 만들지 못하게 제한했다.
• MVTec AD와 VisA에서 비교 융합 방법 가운데 가장 좋은 평균 이미지 AUROC와 픽셀 AP를 달성했다.
• Real-IAD 대규모 평가에서 이미지 AUROC/AP/F1을 72.47/58.85/59.66에서 75.53/62.54/62.49로 올렸다.
• VLM 백엔드로 LLaVA-7B를 썼고 주 실험에서 489회, 전이 실험에서 1286회의 VLM 호출만 추가로 발생했다.

논문 링크

외부 연구를 정리한 자료입니다. HDATF가 발표한 논문이나 제품 성능을 측정한 결과는 아닙니다.