컷 통계량을 통한 소스-프리 도메인 적응에서의 상호 교정보호
Safeguarding Mutual Correction in Source-Free Domain Adaptation via Cut Statistics
한국어 초록
소스-프리 도메인 적응(Source-Free Domain Adaptation, SFDA)은 원래의 소스 도메인에 접근하지 않고 소스 사전학습 모델을 라벨이 없는 타깃 도메인에 적응시키는 것을 목표로 합니다. 초기의 단일 모델 기반 접근법은 자체 개선(self-refinement)에 의존하지만, 본질적으로 확증 바이어스(confirmation bias)에 취약하며 자체적인 체계적 오류를 교정하는 데 어려움을 겪습니다. 이러한 한계를 극복하기 위해 최근 방법들은 비전-언어(Vision-Language, ViL) 모델을 외부 지식 원천으로 도입하고 있습니다. 그러나 이러한 접근법들은 주로 ViL 모델을 활용하여 소스 사전학습 모델을 감독하는 대체로 단방향적인 패러다임으로 작동합니다. 이는 두 모델이 서로 다른 실패 모드를 보인다는 주요 구조적 특성을 간과합니다. 즉, 한 모델이 잘못된 예측을 생성할 때 다른 모델은 올바른 예측을 생성할 수 있어, 타깃 도메인 내에서 자연스러운 상호 교정(mutual correction)의 기회가 형성됩니다. 하지만 정답(ground-truth) 라벨이 없으면 주어진 샘플에 대해 어떤 모델이 맞는지 식별하는 것은 간단하지 않으며, 단순하게 예측을 교환하는 것은 모델 간에 오류를 전파할 위험이 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 상호 모델 감독을 제어(gate)하기 위한 라벨-프리(label-free) 예측 신뢰도 척도로서 컷 통계량(cut statistic)을 활용하는 새로운 접근법인 SafeCut을 제안합니다. 제안하는 접근법은 상대적 신뢰도를 기반으로 감독의 방향과 강도를 모두 동적으로 제어하여, 샘플 단위로 잘못된 교정은 억제하면서 참된 교정을 선택적으로 증폭합니다. 나아가 이러한 신뢰도 기반 게이팅 메커니즘이 순-양수(net-positive)의 교정 신호를 보장함을 이론적으로 증명합니다. 다양한 SFDA 벤치마크에 걸친 광범위한 실험을 통해 SafeCut이 최고 수준의 성능(SOTA)을 달성함을 입증하며, 컷 통계량을 통해 SFDA에서 상호 교정을 보호하는 방법의 효과를 강조합니다.
원문 초록
Source-Free Domain Adaptation (SFDA) aims to adapt a source-pretrained model to an unlabeled target domain without access to the original source domain. While early single-model approaches rely on self-refinement, they are inherently susceptible to confirmation bias and struggle to correct their own systematic errors. To overcome this limitation, recent methods introduce Vision-Language (ViL) models as external knowledge sources. However, these approaches operate in a largely unidirectional paradigm, using the ViL model primarily to supervise the source-pretrained model. This overlooks a key structural property: the two models exhibit distinct failure modes -- where one produces an incorrect prediction, the other may produce a correct one, creating a natural opportunity for mutual correction within the target domain. Yet, without ground-truth labels, identifying which model is correct on any given sample is non-trivial, and naively exchanging predictions risks propagating errors across models. To address this challenge, we propose SafeCut, a novel approach that leverages the cut statistic as a label-free measure of prediction reliability to gate cross-model supervision. Our approach dynamically controls both the direction and strength of supervision based on relative reliability, selectively amplifying true corrections while suppressing miscorrections on a per-sample basis. We further provide theoretical justification showing that this reliability-gated mechanism guarantees a net-positive correction signal. Extensive experiments across diverse SFDA benchmarks demonstrate that SafeCut achieves state-of-the-art performance, highlighting the effectiveness of safeguarding mutual correction in SFDA via cut statistics.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
구조적·의미적 일관성을 유지하는 시뮬-투-리얼 변환을 위한 웨이블릿 위상 확산
Wavelet Phase Diffusion for Structurally and Semantically Consistent Sim-to-Real Translation
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
이중 정렬 테스트 시점 적응을 통한 강건한 온라인 항공기 엔진 블레이드 결함 탐지
Robust Online Aero-Engine Blade Defect Detection via Dual-Alignment Test-Time Adaptation
신뢰할 수 있는 비전 검사(visual inspection)는 항공기 엔진 블레이드 제조의 품질 보증에 필수적이며, 이때 결함의 외형은 생산 라인, 촬영 조건, 블레이드 포즈, 표면 배경에 따라 달라질 수 있다. 이러한 도메인 변화(domain shift)는 학습 데이터와 배포 데이터 간의 불일치를 유발하여 온라인 검사에서 딥 결함 탐지기(deep defect detector)의 신뢰성을 저하시킨다. 이 문제는 항공기 엔진 블레이드 이미지에 결함이 희소하게 존재하는 경우가 많아, 가짜 레이블(pseudolabel) 기반 적응이 노이즈가 있거나 누락된 예측에 취약해지기 때문에 특히 어렵다. 이 문제를 해결하기 위해 우리는 테스트 시점 적응(test-time adaptation)에 기반한 온라인 적응형 탐지 프레임워크인 Aero-engine Blade Defect Detector(ABDD)를 제안한다. ABDD는 특징 통계량 정렬(feature-statistics alignment)과 가짜 박스 정렬(pseudo-box alignment)을 결합하여 전역적인 시각적 스타일과 지역적인 결함 형태를 공동으로 적응시키는 이중 정렬 전략(Dual-Alignment Strategy)을 도입한다. 신뢰할 수 없는 가짜 레이블로 인한 오류 누적을 줄이기 위해, 불확실성 인지 박스 필터링(Uncertainty-aware Box Filtering) 메커니즘은 분류 신뢰도(classification confidence), 분류 엔트로피(classification entropy), 위치 결정 엔트로피(localization entropy)를 사용하여 가짜 박스를 평가한다. 또한, 경량의 Sparse Dilated Mona 모듈은 매개변수 효율적인 델타 튜닝(delta tuning)을 가능하게 하면서 소스 도메인 망각(source-domain forgetting)을 제한한다. ABDD는 여러 도메인 변화 시나리오에서 CD-AeBD와 HD-AeBD 데이터셋으로 평가되었으며, 통합된 RT-DETR + Swin-T 아키텍처 하에서 TTA 전략들을 비교하였다. 실험 결과, ABDD는 도메인 변화 상황에서 탐지 강건성을 일관되게 향상시키는 것으로 나타났으며, 산업용 검사 플랫폼에서 그 실용성이 추가로 검증되었다.
개념 기반 도메인 적응: 건초더미에서 추상적인 바늘 찾기
Concept Driven Domain Adaptation: Finding an Abstract Needle in a Haystack
과학교사들은 화면에 나타나는 내용을 묘사하기보다는 자신이 가르치고자 하는 추상적인 개념을 검색어로 사용하여 다큐멘터리 발췌본을 찾는 경우가 많습니다. 이러한 사용 사례는 질의어가 관찰 가능한 사건을 기술한다고 주로 가정하는 기존 언어 기반 비디오 모먼트 검색(video moment retrieval) 방법의 한계를 드러냅니다. 반면 교육용 검색은 기저의 과학적 원리를 구체화하는 시각적 현상을 검색해야 합니다. 본 연구에서는 이를 간결한 교육과정 개념을 시간적으로 희소한 다큐멘터리 근거에 그라운딩(grounding)해야 하는 '건초더미 속 추상적 바늘 찾기' 문제인 '개념-예시 비디오 검색(concept-to-example video retrieval)'으로 정의하고 탐구합니다. 이러한 추상화 격차를 해소하기 위해, 우리는 2-타워 비전-언어(vision-language) 모델을 개념 수준 검색에 적응시키기 위한 3단계 프레임워크인 개념 기반 도메인 적응(Concept-Driven Domain Adaptation, CDDA)을 제안합니다. CDDA는 개념을 중간 의미 앵커로 취급합니다. 즉, 먼저 교과서 및 교사용 지도서의 예시-개념 쌍을 통해 텍스트 임베딩 공간을 구조화한 뒤, 동결된 시각 인코더 환경에서 이러한 개념 인식 기하 구조를 다큐멘터리 시각 정보로 전이하고, 마지막으로 희소한 시각적 개념 지도(supervision)를 통해 두 인코더를 결합 적응시킵니다. 기하학적 관점에서 이러한 단계적 정렬(alignment)은 텍스트-개념 및 비전-개념 간 각도 격차를 줄임으로써, 사전학습 모델의 구체적인 이미지 묘사 정렬을 보존하는 동시에 개념 수준의 적응을 촉진합니다. 선별된 중학교 물리 검색 벤치마크에서 CDDA는 Qwen3-VL-Embedding-2B를 포함한 여러 경쟁력 있는 멀티모달 베이스라인보다 더 우수한 교육 지향적 개념 검색 성능을 달성하는 동시에, 적응 후에도 구체적인 이미지-텍스트 매칭 성능을 유지했습니다.
도메인 수준 적응을 넘어서: 개인화된 연합 비전-언어 모델을 위한 마진 지향적 의미-외형 상호작용 보정
Beyond Domain-Level Adaptation: Margin-Oriented Semantic-Appearance Interaction Correction for Personalized Federated Vision-Language Models
연합 매개변수 효율적 미세조정(Federated parameter-efficient fine-tuning)은 분산된 클라이언트가 원시 데이터를 공유하거나 전체 백본을 업데이트하지 않고도 사전학습된 비전-언어(vision-language) 모델을 적응시킬 수 있도록 지원합니다. 그러나 이 방식의 효과는 클라이언트 간의 도메인 이질성(domain heterogeneity)으로 인해 제한됩니다. 기존의 개인화 방법들은 전역적으로 공유되는 지식과 클라이언트 고유의 스타일을 분리하지만, 대체로 각 도메인을 클래스에 무관한 변환으로 취급합니다. 본 논문에서는 이러한 추상화가 불충분함을 보입니다. 고정된 도메인과 연관된 교차 도메인 변위는 의미론적 클래스에 따라 달라지며, 이러한 클래스-도메인 잔차(residual) 중 일부만이 이미지-텍스트 결정 마진을 훼손합니다. 이에 따라 본 연구는 마진 지향적 의미-외형 상호작용 보정(Margin-Oriented Semantic-Appearance Interaction Correction, MOSAIC)을 제안합니다. MOSAIC은 먼저 학습에서 도출된 클래스-도메인 잔차가 실제 클래스보다 경쟁 텍스트 프로토타입을 선호하는지 측정하는 결정 인식 유해성 점수를 구성합니다. 그런 다음 클래스 인자와 잔차 기저는 전역적으로 공유되고 도메인 인자는 클라이언트 전용으로 유지되는 저순위 잔차 어댑터를 통해 세분화된 클래스-도메인 상호작용을 모델링합니다. 또한 이미지 조건부 게이트가 후보별 보정을 제어하며, 유해 쌍 인식 가중치 재조정은 로컬 최적화 중 결정과 관련된 잔차의 우선순위를 지정합니다. Office31, OfficeHome, DomainNet100에 대한 광범위한 실험을 통해, MOSAIC이 평가된 모든 도메인 이동(domain-shift) 및 결합 도메인-레이블 이동 환경 전반에서 매크로 클라이언트 Top-1 정확도를 일관되게 향상함을 입증합니다.
로드뷰 날씨 인식을 위한 날씨 인지 도메인 적응
Weather-Aware Domain Adaptation for Street-View Weather Recognition
비, 눈, 안개, 먼지와 같은 악천후 조건은 자율주행의 카메라 기반 인지 시스템에 여전히 큰 도전 과제입니다. 본 논문에서는 실제 주행 장면과 현저히 다른 비(非)로드뷰 출처에서 대부분의 학습(training) 데이터를 얻는 도메인 시프트(domain shift) 환경에서의 로드뷰 이미지 기반 다중 클래스 날씨 인식을 연구합니다. 이를 위해 도메인 판별자(domain discriminator)가 예측된 날씨 정보를 조건으로 활용하도록 하여, 도메인 불변적이면서도 날씨에는 민감한 특징을 학습하도록 유도하는 날씨 인지 적대적 차별 도메인 적응(Weather-Aware Adversarial Discriminative Domain Adaptation, WA-ADDA)을 제안합니다. 또한 다양한 비로드뷰 날씨 데이터 모음을 소스로, 실제 로드뷰 이미지를 타깃으로 통합한 다중 데이터셋(dataset) 벤치마크를 구축하고, 매크로 정확도(macro accuracy)를 주요 지표로 하는 표준화된 평가 프로토콜을 정의합니다. 여러 백본(ResNet-50, EfficientNet, VGG, DenseNet) 전반에서 WA-ADDA는 맑은 날씨에 대한 정확도를 유지하면서도 로드뷰 성능을 일관되게 향상시키고 까다로운 조건에서도 높은 클래스별 재현율(recall)을 달성했습니다. 이러한 결과는 도메인 적응 기반 날씨 인식의 실현 가능성과 강건한 차량 내 온보드 인지 기술 발전을 위한 본 벤치마크의 가치를 강조합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at NeurIPS 2026