arXiv:2306.14370

Pseudo-Trilateral Adversarial Training for Domain Adaptive Traversability Prediction

Zheng Chen, Durgakant Pushp, Jason M. Gregory, Lantao Liu

제출 2023-06-26

원문 초록

Traversability prediction is a fundamental perception capability for autonomous navigation. Deep neural networks (DNNs) have been widely used to predict traversability during the last decade. The performance of DNNs is significantly boosted by exploiting a large amount of data. However, the diversity of data in different domains imposes significant gaps in the prediction performance. In this work, we make efforts to reduce the gaps by proposing a novel pseudo-trilateral adversarial model that adopts a coarse-to-fine alignment (CALI) to perform unsupervised domain adaptation (UDA). Our aim is to transfer the perception model with high data efficiency, eliminate the prohibitively expensive data labeling, and improve the generalization capability during the adaptation from easy-to-access source domains to various challenging target domains. Existing UDA methods usually adopt a bilateral zero-sum game structure. We prove that our CALI model -- a pseudo-trilateral game structure is advantageous over existing bilateral game structures. This proposed work bridges theoretical analyses and algorithm designs, leading to an efficient UDA model with easy and stable training. We further develop a variant of CALI -- Informed CALI (ICALI), which is inspired by the recent success of mixup data augmentation techniques and mixes informative regions based on the results of CALI. This mixture step provides an explicit bridging between the two domains and exposes underperforming classes more during training. We show the superiorities of our proposed models over multiple baselines in several challenging domain adaptation setups. To further validate the effectiveness of our proposed models, we then combine our perception model with a visual planner to build a navigation system and show the high reliability of our model in complex natural environments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15761v1cs.CL공통 태그 Data Augmentation, Domain Adaptation

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

arXiv:2610.15846v1cs.CV공통 태그 Domain Adaptation, Unsupervised Domain Adaptation

이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응

Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement

자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.

arXiv:2610.13697v1cs.CV공통 태그 Data Augmentation, Domain Adaptation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.02981v1cs.AI공통 태그 Domain Adaptation, Unsupervised Domain Adaptation

컷 통계량을 통한 소스-프리 도메인 적응에서의 상호 교정보호

Safeguarding Mutual Correction in Source-Free Domain Adaptation via Cut Statistics

소스-프리 도메인 적응(Source-Free Domain Adaptation, SFDA)은 원래의 소스 도메인에 접근하지 않고 소스 사전학습 모델을 라벨이 없는 타깃 도메인에 적응시키는 것을 목표로 합니다. 초기의 단일 모델 기반 접근법은 자체 개선(self-refinement)에 의존하지만, 본질적으로 확증 바이어스(confirmation bias)에 취약하며 자체적인 체계적 오류를 교정하는 데 어려움을 겪습니다. 이러한 한계를 극복하기 위해 최근 방법들은 비전-언어(Vision-Language, ViL) 모델을 외부 지식 원천으로 도입하고 있습니다. 그러나 이러한 접근법들은 주로 ViL 모델을 활용하여 소스 사전학습 모델을 감독하는 대체로 단방향적인 패러다임으로 작동합니다. 이는 두 모델이 서로 다른 실패 모드를 보인다는 주요 구조적 특성을 간과합니다. 즉, 한 모델이 잘못된 예측을 생성할 때 다른 모델은 올바른 예측을 생성할 수 있어, 타깃 도메인 내에서 자연스러운 상호 교정(mutual correction)의 기회가 형성됩니다. 하지만 정답(ground-truth) 라벨이 없으면 주어진 샘플에 대해 어떤 모델이 맞는지 식별하는 것은 간단하지 않으며, 단순하게 예측을 교환하는 것은 모델 간에 오류를 전파할 위험이 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 상호 모델 감독을 제어(gate)하기 위한 라벨-프리(label-free) 예측 신뢰도 척도로서 컷 통계량(cut statistic)을 활용하는 새로운 접근법인 SafeCut을 제안합니다. 제안하는 접근법은 상대적 신뢰도를 기반으로 감독의 방향과 강도를 모두 동적으로 제어하여, 샘플 단위로 잘못된 교정은 억제하면서 참된 교정을 선택적으로 증폭합니다. 나아가 이러한 신뢰도 기반 게이팅 메커니즘이 순-양수(net-positive)의 교정 신호를 보장함을 이론적으로 증명합니다. 다양한 SFDA 벤치마크에 걸친 광범위한 실험을 통해 SafeCut이 최고 수준의 성능(SOTA)을 달성함을 입증하며, 컷 통계량을 통해 SFDA에서 상호 교정을 보호하는 방법의 효과를 강조합니다.

arXiv:2610.00067v1cs.CV공통 태그 Domain Adaptation, Unsupervised Domain Adaptation

이중 정렬 테스트 시점 적응을 통한 강건한 온라인 항공기 엔진 블레이드 결함 탐지

Robust Online Aero-Engine Blade Defect Detection via Dual-Alignment Test-Time Adaptation

신뢰할 수 있는 비전 검사(visual inspection)는 항공기 엔진 블레이드 제조의 품질 보증에 필수적이며, 이때 결함의 외형은 생산 라인, 촬영 조건, 블레이드 포즈, 표면 배경에 따라 달라질 수 있다. 이러한 도메인 변화(domain shift)는 학습 데이터와 배포 데이터 간의 불일치를 유발하여 온라인 검사에서 딥 결함 탐지기(deep defect detector)의 신뢰성을 저하시킨다. 이 문제는 항공기 엔진 블레이드 이미지에 결함이 희소하게 존재하는 경우가 많아, 가짜 레이블(pseudolabel) 기반 적응이 노이즈가 있거나 누락된 예측에 취약해지기 때문에 특히 어렵다. 이 문제를 해결하기 위해 우리는 테스트 시점 적응(test-time adaptation)에 기반한 온라인 적응형 탐지 프레임워크인 Aero-engine Blade Defect Detector(ABDD)를 제안한다. ABDD는 특징 통계량 정렬(feature-statistics alignment)과 가짜 박스 정렬(pseudo-box alignment)을 결합하여 전역적인 시각적 스타일과 지역적인 결함 형태를 공동으로 적응시키는 이중 정렬 전략(Dual-Alignment Strategy)을 도입한다. 신뢰할 수 없는 가짜 레이블로 인한 오류 누적을 줄이기 위해, 불확실성 인지 박스 필터링(Uncertainty-aware Box Filtering) 메커니즘은 분류 신뢰도(classification confidence), 분류 엔트로피(classification entropy), 위치 결정 엔트로피(localization entropy)를 사용하여 가짜 박스를 평가한다. 또한, 경량의 Sparse Dilated Mona 모듈은 매개변수 효율적인 델타 튜닝(delta tuning)을 가능하게 하면서 소스 도메인 망각(source-domain forgetting)을 제한한다. ABDD는 여러 도메인 변화 시나리오에서 CD-AeBD와 HD-AeBD 데이터셋으로 평가되었으며, 통합된 RT-DETR + Swin-T 아키텍처 하에서 TTA 전략들을 비교하였다. 실험 결과, ABDD는 도메인 변화 상황에서 탐지 강건성을 일관되게 향상시키는 것으로 나타났으며, 산업용 검사 플랫폼에서 그 실용성이 추가로 검증되었다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.