Looking for Tiny Defects via Forward-Backward Feature Transfer
원문 초록
Motivated by efficiency requirements, most anomaly detection and segmentation (AD&S) methods focus on processing low-resolution images, e.g., $224\times 224$ pixels, obtained by downsampling the original input images. In this setting, downsampling is typically applied also to the provided ground-truth defect masks. Yet, as numerous industrial applications demand identification of both large and tiny defects, the above-described protocol may fall short in providing a realistic picture of the actual performance attainable by current methods. Hence, in this work, we introduce a novel benchmark that evaluates methods on the original, high-resolution image and ground-truth masks, focusing on segmentation performance as a function of the size of anomalies. Our benchmark includes a metric that captures robustness with respect to defect size, i.e., the ability of a method to preserve good localization from large anomalies to tiny ones. Furthermore, we introduce an AD&S approach based on a novel Teacher-Student paradigm which relies on two shallow MLPs (the Students) that learn to transfer patch features across the layers of a frozen vision transformer (the Teacher). By means of our benchmark, we evaluate our proposal and other recent AD&S methods on high-resolution inputs containing large and tiny defects. Our proposal features the highest robustness to defect size, runs at the fastest speed, yields state-of-the-art performance on the MVTec AD dataset and state-of-the-art segmentation performance on the VisA dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
격리된 이중 양자점의 전하 상태 특성화를 위한 머신러닝
Machine Learning for Charge State Characterization of Isolated Double Quantum Dots
반도체 양자점 배열을 내결함성(fault-tolerant) 양자 컴퓨팅으로 확장하려면 스핀 큐비트의 효율적인 튠업(tuneup)이 필요하며, 이 과정은 전하 안정성 맵(CSM) 분석에 의존하고 대부분 수작업으로 이루어진다. 머신러닝은 저수지 결합(reservoir-coupled) 장치에서 CSM 분석에 널리 적용되어 왔지만, 점점 더 중요해지는 격리 모드(isolated-mode) 영역에서의 자동 튠업은 제한적인 관심만 받아왔다. 격리 모드 CSM에서는 전하 전이가 거의 수직인 선으로 나타나므로, 이는 컴팩트하고 작업 특화 모델에 잘 적합하다. 우리는 자동화된 극저온 프로빙 시스템을 사용하여 약 1 K에서 측정한 32개의 실리콘 금속-산화물-반도체(SiMOS) 이중 양자점 장치에서 수집한 CSM으로 학습된, 100만 개 미만의 파라미터를 갖는 두 개의 합성곱 신경망(CNN)을 제시한다. 16개 장치는 학습에 사용되었고 16개는 수작업 라벨링된 정답(ground truth)에 대비한 장치 간 일반화를 평가하기 위해 홀드아웃되었다. CSMClassifier는 전하 불안정성과 센서 아티팩트(artifact)를 식별하며, 2,407개의 홀드아웃 이미지에서 세 가지 품질 클래스에 대해 94%의 매크로 평균 정확도를 달성한다. ChargeLineNet은 전하 전이선을 국소화하고 전자 점유(occupancy)를 결정하며, 1,131개의 홀드아웃 이미지에서 95.3%의 정확한 선 개수 정확도를 달성한다. 단일 파이프라인으로 결합하면, 모델은 깨끗한(clean) 홀드아웃 이미지의 93.8%에 대해 전자 점유를 올바르게 결정한다. 합성 이미지에 대한 사전학습은 라벨 효율성을 크게 향상시킨다. 제한된 실험 데이터로 사전학습된 모델을 미세조정하면 90% 이상의 정확도를 유지하는 반면, 처음부터 학습하면 동일 조건에서 정확도가 크게 저하된다. 두 모델을 합치면 6.5 MB만 차지하며 표준 실험실 하드웨어에서 60 ms 미만으로 이미지를 처리하여, 양자점 장치의 확장 가능한 자동 특성화 및 튠업을 향한 실용적인 경로를 보여준다.
Multi-Scale Patch-Based Representation Learning for Image Anomaly Detection and Segmentation
Nuclei Segmentation via a Deep Panoptic Model with Semantic Feature Fusion
PulseGuard: rPPG-Derived Temporal Signals as a Forensic Modality for Talking-Face Deepfake Detection
PRISM: Stress-Testing Alignment-Faking Claims
Cost-Aware Hierarchical Multi-Agent Ransomware Detection and Family Attribution
토론
이 논문과 연결된 포럼 글이 아직 없습니다.