CLIP을 넘어서: 시스템 1 의사결정 모델을 이용한 보정된 (소수 샷) 결함 검출
Beyond CLIP: Calibrated (Few-Shot) Defect Detection With System One Decision Models
한국어 초록
카메라와 비전 센서는 제조 환경에서 제품 및 공정 검사에 널리 사용된다. 전통적으로 이러한 모델을 학습시키려면 정상 제품과 불량 제품 모두에 대해 수천 장의 이미지가 필요했다. 최근 연구에 따르면 CLIP과 같은 비전 트랜스포머(ViT) 모델은 이 요구량을 정상 및 불량 클래스당 50~100장으로 줄일 수 있다. 그러나 수율이 높거나 생산량이 적은 제조 공정에서는 불량 이미지 50장을 수집하는 것조차 어려울 수 있다. 본 논문에서는 최근 제안된 두 구조화 의사결정 모델(Jev와 Clef-Flash)의 유용성을, 추론 시 클래스당 참조 이미지를 k=2장까지 적게 사용하는 응용에서 살펴본다. 이 과정에서 우리는 세 가지 주요 기여를 제시한다. (a) 이미지 분류/검사 응용을 위한 이러한 모델의 k-샷 학습 프레임워크, (b) 이러한 의사결정 모델에서 이미지 분류를 안내하는 텍스트 설명을 자동으로 개선하는 에이전트적 접근법, (c) 검사 의사결정의 신뢰성을 높이기 위해 결과로 얻은 결함 확률을 보정하는 접근법이다. 우리는 다섯 가지 제조 사례 연구에서 이러한 기여를 검증한다. 클래스당 참조 이미지 두 장을 사용했을 때 Jev와 Clef-Flash 모두 동일한 참조를 사용한 CLIP의 테스트 정확도를 능가한다(Jev 0.75-1.00 및 Clef-Flash 0.71-0.99 대비 CLIP 0.67-0.84). 또한 텍스트 설명에 대한 에이전트적 개선이 8개 모델-응용 조합 중 6개에서 정확도를 유의미하게 향상시키며, 우리의 보정 접근법이 15개 모델-응용 구성 중 13개에서 Brier 점수를 감소시킴을 보인다. 연구의 재현성을 지원하기 위해 복제 코드를 제공하며 추가 모델을 평가할 수 있는 R "decisions" 패키지를 만들었다. 또한 실무자가 코드 없이 자신의 이미지를 검사할 수 있는 공개 웹 앱도 제공한다.
원문 초록
Cameras and vision sensors are widely used for product and process inspection in manufacturing environments. Traditionally, this process required thousands of images of both nominal and defective products to train such models. Recent research shows that vision transformer (ViT) models, such as CLIP, can reduce this requirement to 50-100 images per nominal and defective class. However, collecting even 50 defective images can be difficult in high-yield or low-volume manufacturing processes. In this paper, we examine the utility of two recently proposed structured decision models (Jev and Clef-Flash) in applications using as few as k=2 reference images per class at inference. In the process, we provide three main contributions: (a) a framework for k-shot learning of these models for image classification/inspection applications; (b) an agentic approach for automatically refining the text descriptions that guide image classification in these decision models; and (c) an approach to calibrate the resulting defect probabilities to improve their reliability for inspection decisions. We test these contributions in five manufacturing case studies. Using two reference images per class, both Jev and Clef-Flash outperform CLIP's test accuracies with the same references (0.75-1.00 [Jev] and 0.71-0.99 [Clef-Flash] vs 0.67-0.84 [CLIP]). Furthermore, we show that our agentic refinement of text descriptions significantly improves accuracy across 6 of 8 model-application combinations, and our calibration approach reduces the Brier score in 13 of the 15 model-application configurations. To support the reproducibility of our work, we provide our replication code and have created the R "decisions" package for evaluating additional models. We also provide a publicly available web app that allows practitioners to inspect their own images with no code.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.41199v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.