arXiv:2205.04222

Alternative Data Augmentation for Industrial Monitoring using Adversarial Learning

Silvan Mertes, Andreas Margraf, Steffen Geinitz, Elisabeth André

제출 2022-05-09

원문 초록

Visual inspection software has become a key factor in the manufacturing industry for quality control and process monitoring. Semantic segmentation models have gained importance since they allow for more precise examination. These models, however, require large image datasets in order to achieve a fair accuracy level. In some cases, training data is sparse or lacks of sufficient annotation, a fact that especially applies to highly specialized production environments. Data augmentation represents a common strategy to extend the dataset. Still, it only varies the image within a narrow range. In this article, a novel strategy is proposed to augment small image datasets. The approach is applied to surface monitoring of carbon fibers, a specific industry use case. We apply two different methods to create binary labels: a problem-tailored trigonometric function and a WGAN model. Afterwards, the labels are translated into color images using pix2pix and used to train a U-Net. The results suggest that the trigonometric function is superior to the WGAN model. However, a precise examination of the resulting images indicate that WGAN and image-to-image translation achieve good segmentation results and only deviate to a small degree from traditional data augmentation. In summary, this study examines an industry application of data synthesization using generative adversarial networks and explores its potential for monitoring systems of production environments. \keywords{Image-to-Image Translation, Carbon Fiber, Data Augmentation, Computer Vision, Industrial Monitoring, Adversarial Learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Image-to-Image Translation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.01542v1cs.CV공통 태그 Semantic Segmentation, Data Augmentation

데이터 희소 환경에서 롱테일 출혈성 병변 분할을 위한 합성 학습

Synthetic training for long-tail haemorrhagic lesion segmentation in data-scarce settings

뇌 미세출혈(CMB)과 피질 표재성 철침착증(cSS)은 뇌 소혈관 질환의 영상 바이오마커이지만, 양성 사례 및 복셀 수준 주석의 부족으로 인해 자동화된 분할(segmentation)에 한계가 있습니다. 본 연구에서는 실제 병변 주석 없이도 학습이 가능하며 병변에 대한 방사선학적 기술(description)을 활용하는 롱테일(long-tail) 출혈성 병변 분할용 합성 학습(synthetic training) 프레임워크를 제안합니다. 해부학적 뇌 구획화(brain parcellation)에서 시작하여, 본 프레임워크는 공간적 증강과 복셀 재샘플링을 적용하고, 병변의 위치 및 형태에 대한 임상적 사전 지식을 활용해 절차적으로 cSS 및 CMB 레이블을 삽입하며, 무작위 강도 할당, 블러링, 라이시안(Rician) 노이즈 시뮬레이션을 통해 영상을 합성합니다. 모델은 동적으로 생성된 영상-레이블 쌍으로 학습되었으며, 10건의 cSS 사례와 13건의 CMB 사례에서 수동 윤곽 묘사를 기준으로 평가되었습니다. 제안된 구성은 고전적 필터 기준선(baseline)보다 우수한 성능을 보였습니다. cSS의 경우, 저신호강도 제약 모델이 Frangi 필터보다 더 높은 AUPRC 및 AUROC를 달성했습니다(AUPRC: 0.284 대 0.083, AUROC: 0.907 대 0.731). CMB의 경우, 병변 유사체로서 혈관을 명시적으로 합성함으로써 고전적 기준선 대비 성능이 향상되었습니다(AUPRC: 0.538 대 0.004, AUROC: 0.999 대 0.968). 이러한 결과는 본 제안이 데이터가 희소한 환경에서의 출혈성 병변 분할을 위한 실현 가능한 전략임을 뒷받침합니다.

arXiv:2609.24768v1cs.CV공통 태그 Semantic Segmentation, Image-to-Image Translation

PrismGPT: 자체 합성 추론을 활용한 영역 인식 사진 편집을 위한 대리 유도 학습

PrismGPT: Proxy-Guided Learning for Region-Aware Photo Editing with Self-Synthesized Reasoning

전문적인 사진 보정은 의미론적 마스크(semantic mask)에 의해 유도되는 영역별 국소 편집과 전역적 조절 모두에 의존하지만, 현재의 자동화된 방식들은 이러한 워크플로를 부분적으로만 처리합니다. 본 논문에서는 상용 블랙박스 도구에 의존하지 않고 단일 입력 이미지로부터 구조화된 영역 인식 편집 계획을 생성하는 비전-언어 모델(VLM) 프레임워크인 PrismGPT를 제시합니다. 전역 및 국소 수준 모두에서 미적 결함을 동시에 진단하는 동시에 정밀한 편집 파라미터를 예측하도록 VLM을 학습시키는 것은 방대한 조합적 결정 공간으로 인해 어렵습니다. 우리는 대리 유도 학습(proxy-guided learning)을 통해 이를 해결합니다. 연산 분해 및 영역 인식 미적 순위 지정이라는 두 가지 더 단순한 대리 태스크가 모델에 필요한 기초 기술을 가르치며, 역량 기반 동적 스케줄러가 멀티태스크 학습 비율의 균형을 자동으로 재조정하여 각 기술을 습득함에 따라 대리 태스크에서 주 편집 태스크로 점진적으로 비중을 전환합니다. 결정적으로, 지도 미세조정에 사용되는 모든 추론 궤적은 동일한 기본 모델에 의해 자체 합성되어 더 강력한 외부 교사 모델의 필요성을 배제합니다. MIT-Adobe FiveK와 우리가 새로 도입한 전문적으로 리터칭된 벤치마크인 SPIRE에 대한 실험은 PrismGPT가 이전 최고 방식 대비 약 6%의 학습 데이터만을 사용하면서도 최고 수준(state-of-the-art)의 결과를 달성함을 보여줍니다.

arXiv:2607.22924v1cs.CV공통 태그 Semantic Segmentation, Image-to-Image Translation

레이어링 가상 착용

Layering Virtual Try-On

실세계에서 패션은 레이어링에 관한 것이다. 셔츠 위에 재킷을 더하거나, 단일 층 교체가 아니라 층을 순차적으로 추가하고 제거하는 일이다. 이러한 근본적인 실세계 과제는 단일 층 교체에는 뛰어나지만, 기존 의상에 층을 더하거나 벗기도록 설계되지 않은 기존 가상 착용(VTON) 방법에서는 여전히 과제로 남아 있다. 본 논문은 기존 의상을 보존하면서 순차적 레이어링을 가능하게 하는 레이어링 벤치마크 및 방법인 Layering Virtual Try-On(LVTON)을 제안한다. 현재 VTON 패러다임은 cloth-agnostic 표현과 단일 아이템 데이터셋에 의존하여 필수적인 레이어링 맥락을 버리기 때문에 LVTON에 근본적으로 부적합함을 발견했다. 핵심 통찰은 LVTON 과제를 두 가지 별개의 역량으로 분리해야 한다는 것이다: (1) 일반 VTON 사전지식(예: 변형, 정체성 보존)과 (2) 특화 레이어링 지식(예: 레이어링 순서 및 가림(occlusion) 추론). 먼저, 우리 모델은 세그멘테이션(segmentation)과 인페인팅(inpainting)을 통해 패션 비디오로부터 샘플을 합성하는 자동 데이터 생성 파이프라인이 생산한 데이터로 학습하여 일반 VTON 사전지식을 얻는다. 둘째, 모델은 레이어링 논리를 학습하기 위해 소규모 전용 LVTON 데이터셋에서 파인튜닝(fine-tuning)된다. 우리 방법은 LVTON 벤치마크에서 최신(state-of-the-art) 결과를 달성하고, 전통적인 VTON 벤치마크에서 우수한 일반화 성능을 보여주며, 파인튜닝 시 새로운 최신 결과를 설정하고 제로샷(zero-shot) 능력을 나타낸다.

arXiv:2607.23680v1cs.CV공통 태그 Semantic Segmentation, Data Augmentation

견고하고 주석 효율적인 식물 스트레스 표현형 분석을 위한 섭동 인식 확산 가이드 하이브리드 분할

Perturbation-Aware Diffusion-Guided Hybrid Segmentation for Robust and Annotation-Efficient Plant Stress Phenotyping

농업 영상에서의 의미 분할(semantic segmentation)은 종종 도메인 내(in-domain) 프로토콜 하에서 평가되지만, 실제 배포에서는 외관 섭동, 제한된 주석, 교차 도메인(cross-domain) 이동에 대한 견고성이 필요하다. 본 논문은 U-Net, DeepLabV3+, SegFormer 백본이 거친 마스크를 생성하고, 이를 Denoising Diffusion Probabilistic Models (DDPM), 잠재 확산(latent diffusion), 또는 의미 가이드 확산(semantic-guided diffusion)으로 정제하는 확산 가이드 하이브리드 분할 프레임워크를 제안한다. 해당 프레임워크는 PlantSegV3에서 3x3 아키텍처 스크리닝 연구를 통해 평가되며, 이어 경계 제약 최적화, 섭동 가이드 재학습, 저데이터 평가, 제약 하이퍼파라미터 스크리닝, 통제된 교차 도메인 적응을 수행한다. PlantSegV3에서 최고로 선정된 하이브리드 모델은 정제된 평균 Intersection-over-Union (mIoU) 71.83%와 정제된 Boundary-F1 26.10%를 달성하며, 선정된 모델들은 감독을 대폭 줄인 조건에서도 안정성을 유지하여 강한 주석 효율성을 보여준다. 섭동 분석은 그레이스케일 변환, 안개, 거친 드롭아웃, 그림자를 가장 파괴적인 외관 변화로 식별하며, 그에 따른 증강 정책이 재학습 동안 견고성을 크게 향상시킨다. 적응된 모델은 제한된 타깃 감독 하에서 외부 농업 데이터셋으로의 효과적인 전이를 추가로 보여주며, 이는 확산 정제와 경계 인식 최적화가 전이 가능한 구조적 사전(prior)을 제공함을 시사한다. 전반적으로, 결과는 섭동 인식 재학습과 결합된 신중하게 매칭된 백본-정제기 쌍이 현실적인 자원 및 분포 제약 하에서 구조적 윤곽화와 견고성을 개선할 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.