arXiv:2306.10142

Enhancing Visual Domain Adaptation with Source Preparation

Anirudha Ramesh, Anurag Ghosh, Christoph Mertz, Jeff Schneider

제출 2023-06-16

원문 초록

Robotic Perception in diverse domains such as low-light scenarios, where new modalities like thermal imaging and specialized night-vision sensors are increasingly employed, remains a challenge. Largely, this is due to the limited availability of labeled data. Existing Domain Adaptation (DA) techniques, while promising to leverage labels from existing well-lit RGB images, fail to consider the characteristics of the source domain itself. We holistically account for this factor by proposing Source Preparation (SP), a method to mitigate source domain biases. Our Almost Unsupervised Domain Adaptation (AUDA) framework, a label-efficient semi-supervised approach for robotic scenarios -- employs Source Preparation (SP), Unsupervised Domain Adaptation (UDA) and Supervised Alignment (SA) from limited labeled data. We introduce CityIntensified, a novel dataset comprising temporally aligned image pairs captured from a high-sensitivity camera and an intensifier camera for semantic segmentation and object detection in low-light settings. We demonstrate the effectiveness of our method in semantic segmentation, with experiments showing that SP enhances UDA across a range of visual domains, with improvements up to 40.64% in mIoU over baseline, while making target models more robust to real-world shifts within the target domain. We show that AUDA is a label-efficient framework for effective DA, significantly improving target domain performance with only tens of labeled samples from the target domain.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00067v1cs.CV공통 태그 Object Detection, Domain Adaptation, Unsupervised Domain Adaptation

이중 정렬 테스트 시점 적응을 통한 강건한 온라인 항공기 엔진 블레이드 결함 탐지

Robust Online Aero-Engine Blade Defect Detection via Dual-Alignment Test-Time Adaptation

신뢰할 수 있는 비전 검사(visual inspection)는 항공기 엔진 블레이드 제조의 품질 보증에 필수적이며, 이때 결함의 외형은 생산 라인, 촬영 조건, 블레이드 포즈, 표면 배경에 따라 달라질 수 있다. 이러한 도메인 변화(domain shift)는 학습 데이터와 배포 데이터 간의 불일치를 유발하여 온라인 검사에서 딥 결함 탐지기(deep defect detector)의 신뢰성을 저하시킨다. 이 문제는 항공기 엔진 블레이드 이미지에 결함이 희소하게 존재하는 경우가 많아, 가짜 레이블(pseudolabel) 기반 적응이 노이즈가 있거나 누락된 예측에 취약해지기 때문에 특히 어렵다. 이 문제를 해결하기 위해 우리는 테스트 시점 적응(test-time adaptation)에 기반한 온라인 적응형 탐지 프레임워크인 Aero-engine Blade Defect Detector(ABDD)를 제안한다. ABDD는 특징 통계량 정렬(feature-statistics alignment)과 가짜 박스 정렬(pseudo-box alignment)을 결합하여 전역적인 시각적 스타일과 지역적인 결함 형태를 공동으로 적응시키는 이중 정렬 전략(Dual-Alignment Strategy)을 도입한다. 신뢰할 수 없는 가짜 레이블로 인한 오류 누적을 줄이기 위해, 불확실성 인지 박스 필터링(Uncertainty-aware Box Filtering) 메커니즘은 분류 신뢰도(classification confidence), 분류 엔트로피(classification entropy), 위치 결정 엔트로피(localization entropy)를 사용하여 가짜 박스를 평가한다. 또한, 경량의 Sparse Dilated Mona 모듈은 매개변수 효율적인 델타 튜닝(delta tuning)을 가능하게 하면서 소스 도메인 망각(source-domain forgetting)을 제한한다. ABDD는 여러 도메인 변화 시나리오에서 CD-AeBD와 HD-AeBD 데이터셋으로 평가되었으며, 통합된 RT-DETR + Swin-T 아키텍처 하에서 TTA 전략들을 비교하였다. 실험 결과, ABDD는 도메인 변화 상황에서 탐지 강건성을 일관되게 향상시키는 것으로 나타났으며, 산업용 검사 플랫폼에서 그 실용성이 추가로 검증되었다.

arXiv:2609.27533v1cs.CV공통 태그 Semantic Segmentation, Domain Adaptation, Unsupervised Domain Adaptation

ICM: 악천후 환경의 도메인 적응을 위한 클래스 내 믹싱

ICM: Intra-class Mixing for Domain Adaptation in Adverse Weather

악천후 조건에서의 시맨틱 분할(semantic segmentation)을 위한 비지도 도메인 적응(UDA)은 극심한 외형 변화로 인해 도메인 격차가 커지고 타깃 도메인 내 의사 레이블(pseudo label)의 신뢰도가 저하되기 때문에 여전히 어려운 과제로 남아 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 클래스 내 믹싱된 이미지와 원본 이미지 간의 예측 일관성을 강제하는 ICM(Intra-Class Mixing Consistency) 프레임워크를 제안합니다. 서로 다른 이미지나 도메인 간의 영역을 결합하여 비현실적인 의미적 불일치를 유발할 수 있었던 기존의 믹싱 기반 일관성 방법들과 달리, ICM은 동일한 이미지 및 의미론적 클래스 내에서 믹싱을 수행하여 일관성 정규화(consistency regularization)를 위한 현실적인 의미론적 배치를 보존합니다. ICM을 통해 본 연구는 시맨틱 분할 분야의 맑은 날씨에서 악천후 환경으로의 비지도 도메인 적응(UDA)에서 최고 성능(SOTA)을 달성했습니다. Cityscapes $\rightarrow$ ACDC 벤치마크에서 제안 기법은 75.7\% mIoU를 달성하여 기존 최고 성능을 +1.9%p 능가하였으며, 까다로운 환경 조건에서도 클래스 혼동을 완화하는 데 효과적임을 입증했습니다. 코드는 보충 자료에서 제공됩니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.