arXiv:2406.18197

Human-Free Automated Prompting for Vision-Language Anomaly Detection: Prompt Optimization with Meta-guiding Prompt Scheme

Pi-Wei Chen, Jerry Chun-Wei Lin, Jia Ji, Feng-Hao Yeh, Zih-Ching Chen, Chao-Chun Chen

제출 2024-06-26

원문 초록

Pre-trained vision-language models (VLMs) are highly adaptable to various downstream tasks through few-shot learning, making prompt-based anomaly detection a promising approach. Traditional methods depend on human-crafted prompts that require prior knowledge of specific anomaly types. Our goal is to develop a human-free prompt-based anomaly detection framework that optimally learns prompts through data-driven methods, eliminating the need for human intervention. The primary challenge in this approach is the lack of anomalous samples during the training phase. Additionally, the Vision Transformer (ViT)-based image encoder in VLMs is not ideal for pixel-wise anomaly segmentation due to a locality feature mismatch between the original image and the output feature map. To tackle the first challenge, we have developed the Object-Attention Anomaly Generation Module (OAGM) to synthesize anomaly samples for training. Furthermore, our Meta-Guiding Prompt-Tuning Scheme (MPTS) iteratively adjusts the gradient-based optimization direction of learnable prompts to avoid overfitting to the synthesized anomalies. For the second challenge, we propose Locality-Aware Attention, which ensures that each local patch feature attends only to nearby patch features, preserving the locality features corresponding to their original locations. This framework allows for the optimal prompt embeddings by searching in the continuous latent space via backpropagation, free from human semantic constraints. Additionally, the modified locality-aware attention improves the precision of pixel-wise anomaly segmentation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.05253v2cs.LG공통 태그 Anomaly Detection, Few-Shot Learning

GLASS: 전이 가능한 그래프 수준 이상치 탐지를 위한 구면 점수화 기반 그래프-언어 정렬

GLASS: Graph-Language Alignment with Spherical Scoring for Transferable Graph-Level Anomaly Detection

본 논문에서는 단위 초구(unit hypersphere) 상의 그래프-언어 정렬을 통해 강력한 도메인 간 전이 가능성(cross-domain transferability)을 달성하는 그래프 수준 이상치 탐지(GLAD) 프레임워크인 GLASS를 소개합니다. GLASS는 다중 슬라이스 소프트 코사인 목적 함수(multi-slice soft cosine objective)를 통해 구조 인지 그래프 인코더와 지시 인지(instruction-aware) 텍스트 임베딩을 정렬하여 통합된 표현 공간을 구축합니다. 본 프레임워크는 국소적, 전역적, 의미론적 그래프 속성을 압축된 그래프 기술자 프롬프트(GraphDP)로 직렬화하여 도메인에 구애받지 않는 이상치 점수화를 가능하게 하는 텍스트 가교를 만듭니다. 마트료시카 표현 슬라이스(Matryoshka representation slices)를 통해 다중 스케일 일관성을 강제함으로써, 모델은 다양한 입도 수준에서 이상 편차를 포착합니다. 우리는 이상치 탐지를 정렬된 초구 상에서의 밀도 추정 문제로 정식화하고, 그래프 및 텍스트 임베딩 공간 모두에서 폰 미제스-피셔(von Mises-Fisher) 커널 밀도 추정기를 인스턴스화하는 구면 멀티모달 점수화(SMS)를 도입합니다. 이러한 확률론적 정식화는 고밀집 극한(high-concentration limit)에서 각도 기반 1-최근접 이웃 점수화를 복원하고, 실용적인 평균 k-최근접 이웃 점수 계산기에 이론적 동기를 부여하며, 구조적 및 의미론적 이상 신호의 원칙적인 융합을 제공합니다. 공유된 텍스트 임베딩 공간은 도메인 간 가교 역할도 수행합니다. 타깃 도메인 학습 데이터 없이도 타깃 도메인의 GraphDP를 인코딩하여 제로샷(zero-shot) 이상치 탐지를 수행하며, 소수의 정상 예시만으로 참조 세트 보정(reference-set calibration)을 통한 퓨샷(few-shot) 적응을 수행합니다. 프라이버시에 민감한 배포 환경을 위해, 우리는 프라이빗 타깃 참조와 무관하게 인코더를 고정한 상태로 유지하면서 그래프 레코드 차분 프라이버시(differential privacy)를 제공하는 유계 결합 그래프-텍스트 커널 요약으로 참조 세트 보정을 확장합니다. 12개의 벤치마크와 3개의 메타 도메인에 걸친 실험에서, GLASS는 최신 고급 GLAD 베이스라인들과 비교해 최고의 평균 AUROC 및 순위를 달성하며 효과적인 도메인 간 전이를 가능하게 합니다.

arXiv:2607.23924v1cs.CV공통 태그 Anomaly Detection, Few-Shot Learning

DuoAD: [CLS] 이중 특성을 활용한 학습 없는 퓨샷 이상 탐지

DuoAD: Leveraging [CLS] Dual Characteristics for Training-Free Few-Shot Anomaly Detection

비전 기반 모델(foundation model)은 강력한 학습 없는 이상 탐지(AD)를 가능하게 했다. 그러나 기존 대부분의 접근법은 주로 독립적인 국소 패치 특징에 의존하여, Vision Transformer(ViT)가 인코딩하는 전역 문맥 정보를 충분히 활용하지 못하고 있다. 본 연구에서는 ViT [CLS] 토큰의 이중 특성을 밝힌다. 그 임베딩은 이상에 불변하는 전역 의미 표현을 제공하는 반면, 어텐션 맵은 공간적으로 비정상적인 영역을 암묵적으로 강조한다. 이 관찰에 기반하여, 전역 문맥을 활용해 수동 튜닝을 제거하는 완전 자동화 AD 프레임워크를 제안한다. 우리 프레임워크는 (1) [CLS] 수준의 의미적 일관성에 의해 구동되는 자동 증강 선택 전략과, (2) [CLS] 어텐션 현저성(saliency)에 따라 패치 기여도를 동적으로 조정하는 어텐션 기반 특징 재가중 메커니즘을 도입한다. 이러한 구성 요소를 다층 특징에 통합함으로써, 본 방법은 학습이나 매개변수 튜닝 없이 안정적인 이상 점수 산출과 정밀한 국소화를 달성한다. 원샷(one-shot) 설정에서 MVTec-AD, VisA, Real-IAD에서 Image-AUC 97.7%, 93.2%, 84.5%를 달성한다. 카테고리, 백본, 데이터셋 전반에 걸쳐 단일 고정 구성을 사용하여, 본 방법은 강력한 견고성과 실용적 확장성을 유지하면서 플러그 앤 플레이(plug-and-play) 학습 없는 이상 탐지 분야에서 새로운 최고 수준(state-of-the-art)을 확립한다.

arXiv:2607.14510v1cs.AI공통 태그 Anomaly Detection, Few-Shot Learning

VLT: 산업 지능을 위한 비전-언어-시계열 다중모달 파운데이션 모델

VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence

산업 시계열은 항공 엔진과 같은 산업 장비의 신뢰성과 안전성을 보장하기 위한 예지 및 건강 관리(PHM)의 기반이 된다. 그러나 기존 접근법은 일반적으로 단일 모달리티 모델링에 한정되어 복잡한 시나리오에서의 일반화를 제한한다. 최근 대규모 언어 모델(LLM)의 발전이 다중모달 학습에 새로운 기회를 제공하지만, 연속적인 시계열 신호와 이산적인 텍스트 의미를 연결하는 것은 여전히 열린 과제로 남아 있다. 이를 위해 우리는 시계열, 주파수 스펙트럼 시각 표현, 텍스트 지식을 공동으로 모델링하는 다중모달 파운데이션 모델 VLT를 제안한다. 핵심 통찰은 연속적인 시간 신호와 이산적인 의미를 연결하기 위해 주파수 스펙트럼을 시각적 가교로 활용하는 것이다. 구체적으로, 이질적인 시간 역학을 포착하기 위해 시간 인식 전문가 혼합(Time-MoE)을 설계하고, Frequency-Text Augmented Learner는 공유 표현 공간 내에서 스펙트럼 및 의미 특징의 공동 모델링을 가능하게 한다. 또한 시간 중심 그래디언트 정렬 메커니즘을 도입하여 그래디언트 정규화와 신뢰성 인식 동적 재가중치를 통해 교차 모달 최적화 충돌을 완화한다. 다양한 산업 데이터셋에 대한 광범위한 실험에서 VLT가 최신(state-of-the-art) 방법들을 능가하며, 퓨샷(few-shot), 노이즈, 불완전 모달리티 설정에서 우수한 견고성과 일반화를 달성함을 보여준다.

arXiv:2607.12858v1cs.CV공통 태그 Anomaly Detection, Anomaly Segmentation

LARAD: 공간-논리 추론 기반 레이아웃 인식 도로 이상 탐지

LARAD: Layout-Aware Road Anomaly Detection via Spatial-Logic Reasoning

정확한 오픈 월드 장애물 탐지는 자율 주행에 매우 중요하다. 현재의 이상 분할(anomaly segmentation) 방법은 근본적인 사각지대를 가지고 있다. 분포 밖(out-of-distribution, OoD) 객체를 식별하기 위해 텍스처 신기성에 과도하게 의존하는 반면, 맥락적 공간 논리는 무시한다. 또한, 이로 인한 오탐(false positive)을 완화하려면 대규모 비전 모델을 연쇄적으로 배치해야 하는 경우가 많아, 수용하기 어려운 추론 지연이 발생한다. 이 문제를 해결하기 위해, 우리는 레이아웃 인식 도로 이상 탐지(LARAD)를 제안하며, 패러다임을 외형 매칭에서 공간-논리 추론으로 전환한다. 먼저, 텍스처는 일관적이지만 공간적으로는 유효하지 않은 학습 샘플을 생성하여 모델이 맥락적 위반을 학습하도록 하는 공간-논리 위반 합성(SLVS) 파이프라인을 도입한다. 둘째로, 표준 클로즈드셋(closed-set) 분할 네트워크에 경량의 OoD 유도 어텐션 분기를 추가한다. 광범위한 실험을 통해 LARAD가 논리적 이상에 대한 견고성을 크게 향상시키고, 단일 모델 아키텍처의 높은 효율성을 유지하면서 새로운 최신(state-of-the-art) 성능을 달성함을 보여준다.

arXiv:2607.11170v1cs.CV공통 태그 Anomaly Detection, Few-Shot Learning

TC-MAF: 멀티모달 산업 이상 탐지를 위한 학습 보정 기반 경계 다중 증거 융합

TC-MAF: Train-Calibrated Bounded Multi-Evidence Fusion for Multimodal Industrial Anomaly Detection

멀티모달 이상 탐지(anomaly detection)는 상호 보완적인 RGB 및 3D 증거로부터 이점을 얻으나, 보조 RGB 재구성은 제품 카테고리에 걸쳐 동등하게 신뢰할 수 없으며 클래스별 테스트 시간 정책 선택도 일반적으로 사용 불가능하다. 우리는 멀티모달 탐지기, 보완적인 Dinomaly 증거, 소규모 크로스 모달 일관성 단서를 하나의 고정된 픽셀 수준 융합 공식 아래 결합하는 기반 앵커 다중 증거 융합 설계인 TC-MAF를 제안한다. 경량 학습 분산 신뢰도(TDC) 항은 정상 학습 통계만을 사용하여 보조 참여를 조정한다. MVTec-3D에서 TC-MAF는 이미지 수준 AUROC 0.979, 픽셀 수준 AUPRO 0.990을 달성하여 비교된 멀티모달 방법들 중 탐지 및 위치 추정 모두에서 최고의 평균 결과를 기록한다. 체계적인 절제 연구(ablation)는 융합 구조 자체가 지배적인 요소임을 보여주며, TDC는 보정 없음 또는 임의 보정 대비 더 작지만 재현 가능한 보정 이득을 제공한다. 추가 실험에서 동일한 설계가 통합 통계 변형, 보조 분기 및 백본 대체, 퓨샷(few-shot) 설정, 3D 누락 설정, Eyecandies 교차 데이터셋 평가에서도 효과적임을 보여준다. 코드는 https://anonymous.4open.science/r/TC_MAF-C3BB에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.