arXiv:2407.04092

Looking for Tiny Defects via Forward-Backward Feature Transfer

Alex Costanzino, Pierluigi Zama Ramirez, Giuseppe Lisanti, Luigi Di Stefano

제출 2024-07-04

원문 초록

Motivated by efficiency requirements, most anomaly detection and segmentation (AD&S) methods focus on processing low-resolution images, e.g., $224\times 224$ pixels, obtained by downsampling the original input images. In this setting, downsampling is typically applied also to the provided ground-truth defect masks. Yet, as numerous industrial applications demand identification of both large and tiny defects, the above-described protocol may fall short in providing a realistic picture of the actual performance attainable by current methods. Hence, in this work, we introduce a novel benchmark that evaluates methods on the original, high-resolution image and ground-truth masks, focusing on segmentation performance as a function of the size of anomalies. Our benchmark includes a metric that captures robustness with respect to defect size, i.e., the ability of a method to preserve good localization from large anomalies to tiny ones. Furthermore, we introduce an AD&S approach based on a novel Teacher-Student paradigm which relies on two shallow MLPs (the Students) that learn to transfer patch features across the layers of a frozen vision transformer (the Teacher). By means of our benchmark, we evaluate our proposal and other recent AD&S methods on high-resolution inputs containing large and tiny defects. Our proposal features the highest robustness to defect size, runs at the fastest speed, yields state-of-the-art performance on the MVTec AD dataset and state-of-the-art segmentation performance on the VisA dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20871v1cond-mat.mes-hall공통 태그 Segmentation, Anomaly Detection

격리된 이중 양자점의 전하 상태 특성화를 위한 머신러닝

Machine Learning for Charge State Characterization of Isolated Double Quantum Dots

반도체 양자점 배열을 내결함성(fault-tolerant) 양자 컴퓨팅으로 확장하려면 스핀 큐비트의 효율적인 튠업(tuneup)이 필요하며, 이 과정은 전하 안정성 맵(CSM) 분석에 의존하고 대부분 수작업으로 이루어진다. 머신러닝은 저수지 결합(reservoir-coupled) 장치에서 CSM 분석에 널리 적용되어 왔지만, 점점 더 중요해지는 격리 모드(isolated-mode) 영역에서의 자동 튠업은 제한적인 관심만 받아왔다. 격리 모드 CSM에서는 전하 전이가 거의 수직인 선으로 나타나므로, 이는 컴팩트하고 작업 특화 모델에 잘 적합하다. 우리는 자동화된 극저온 프로빙 시스템을 사용하여 약 1 K에서 측정한 32개의 실리콘 금속-산화물-반도체(SiMOS) 이중 양자점 장치에서 수집한 CSM으로 학습된, 100만 개 미만의 파라미터를 갖는 두 개의 합성곱 신경망(CNN)을 제시한다. 16개 장치는 학습에 사용되었고 16개는 수작업 라벨링된 정답(ground truth)에 대비한 장치 간 일반화를 평가하기 위해 홀드아웃되었다. CSMClassifier는 전하 불안정성과 센서 아티팩트(artifact)를 식별하며, 2,407개의 홀드아웃 이미지에서 세 가지 품질 클래스에 대해 94%의 매크로 평균 정확도를 달성한다. ChargeLineNet은 전하 전이선을 국소화하고 전자 점유(occupancy)를 결정하며, 1,131개의 홀드아웃 이미지에서 95.3%의 정확한 선 개수 정확도를 달성한다. 단일 파이프라인으로 결합하면, 모델은 깨끗한(clean) 홀드아웃 이미지의 93.8%에 대해 전자 점유를 올바르게 결정한다. 합성 이미지에 대한 사전학습은 라벨 효율성을 크게 향상시킨다. 제한된 실험 데이터로 사전학습된 모델을 미세조정하면 90% 이상의 정확도를 유지하는 반면, 처음부터 학습하면 동일 조건에서 정확도가 크게 저하된다. 두 모델을 합치면 6.5 MB만 차지하며 표준 실험실 하드웨어에서 60 ms 미만으로 이미지를 처리하여, 양자점 장치의 확장 가능한 자동 특성화 및 튠업을 향한 실용적인 경로를 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.