자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
피험자 간(cross-subject) 운동 심상(motor-imagery) 뇌전도(EEG, MI-EEG) 디코딩은 피험자 간 변동성이 커서, 매칭이 잘 되지 않는 소스 피험자로부터의 음의 전이(negative transfer)와 소스-타깃 도메인 간의 지속적인 분포 차이를 동시에 유발할 수 있기 때문에 여전히 어려운 과제이다. 기존의 다중 소스 도메인 적응 방법들은 흔히 가능한 모든 소스 도메인을 사용하거나 신호 수준 또는 태스크 특화 표현을 이용해 소스 관련성을 추정하며, 분포 정렬(distribution alignment)은 특징(feature) 수준에서만 수행되는 경우가 많다. 이러한 한계는 무관한 소스 지식을 유입시키고 피험자 간 클래스 판별 구조를 보존하지 못하는 결과를 낳을 수 있다. 본 연구에서는 피험자 간 MI-EEG 디코딩을 위한 뇌 파운데이션 모델 기반 다중 소스 도메인 적응 프레임워크(BFM-MSDA)를 제안한다. 이 방법은 먼저 사전학습된 뇌 파운데이션 모델이 학습한 표현을 활용하여 소스-타깃 호환성을 추정하고 타깃과 관련된 소스를 검색한다. 이어서 선택된 소스와 레이블이 없는 타깃 도메인에 관련성 가중 이중 정렬(relevance-weighted dual alignment) 전략을 적용한다. 구체적으로, 코시-슈바르츠(Cauchy–Schwarz, CS) 발산을 사용하여 주변 특징 분포(marginal feature distribution)의 차이를 줄이고, 조건부 코시-슈바르츠(conditional Cauchy–Schwarz, CCS) 발산을 통해 클래스에 의존적인 결정 분포(decision distribution)를 추가로 정렬한다. 소스 관련성은 두 정렬 항 모두에 반영되어, 전이 가능성이 더 높은 소스 피험자가 적응 과정에 더 강하게 기여하도록 한다. 두 개의 공개 MI-EEG 벤치마크에서의 실험은 각각 평균 정확도 86.16%와 78.41%를 달성하여 대표적인 피험자 간 디코딩 및 도메인 적응 방법들을 능가하였다. 대규모 소스 풀을 이용한 추가 실험은 타깃을 고려한 소스 검색(target-aware source retrieval)이 음의 전이를 완화하면서 확장성을 향상시킨다는 것을 추가로 보여준다. 이러한 결과는 피험자 간 분포 변화(distribution shift) 상황에서 정보에 기반한 소스 선택의 중요성을 강조한다.
비지도 도메인 적응(Unsupervised Domain Adaptation, UDA)은 레이블이 있는 소스 도메인과 레이블이 없는 타겟 도메인 간의 도메인 격차를 효과적으로 해소하지만, 두 도메인이 동일한 모달리티를 공유한다고 가정한다. 이종 도메인 적응(Heterogeneous Domain Adaptation, HDA)은 대신 도메인 간 서로 다른 특징(feature) 공간을 다루지만, 레이블이 있는 타겟 샘플이나 소스와 타겟 도메인을 연결하는 쌍을 이룬 데이터를 필요로 한다. 레이블이 있는 소스 도메인과 완전히 레이블이 없는 타겟 도메인이 각각 완전히 다른 모달리티(예: 2D 이미지와 3D 포인트 클라우드)를 가지는 경우에는 두 방법 모두 적용할 수 없다. 이러한 한계를 해결하기 위해, 우리는 두 모달리티 모두에서 쌍을 이룬 관측치를 포함하는 레이블이 없는 브리지 도메인을 통해 모달리티 간 지식을 전달하는 새로운 설정인 이종 모달 비지도 도메인 적응(Heterogeneous-Modal Unsupervised Domain Adaptation, HMUDA)을 도입한다. 이때 브리지 도메인의 분포는 소스 및 타겟 도메인의 분포와 다를 수 있다. HMUDA 설정에서 학습하기 위해, 우리는 잠재 공간 연결(Latent Space Bridging, LSB)을 제안한다. 이는 쌍을 이룬 브리지 샘플에 대한 특징(feature) 일관성 손실(loss)이 모달리티 격차를 줄이고, 클래스 중심 정렬 손실(loss)이 소스-타겟 간 불일치를 줄이는 이중 분기(dual-branch) 프레임워크이다. 2D-to-3D 및 3D-to-2D 전이를 모두 포함하는 8가지 벤치마크 설정에 대한 광범위한 실험을 통해 LSB가 최첨단(state-of-the-art) 성능을 달성함을 입증한다.
사전학습된 언어 모델을 전체 미세조정(fine-tuning)을 통해 새로운 도메인에 적용하는 것은 연산 비용이 많이 들고 치명적 망각(catastrophic forgetting)이 발생하기 쉽습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 맞춤형 PEFT 아키텍처와 혼합 목적함수 학습(training)을 결합한 비지도 도메인 적응(unsupervised domain adaptation)을 위한 새로운 매개변수 효율적 전략을 소개합니다. 제안된 방법은 가역 어댑터(invertible adapter)와 LoRA(Low-Rank Adaptation)를 통합하며, 레이블이 지정된 소스 도메인 데이터에 대한 분류(classification)와 레이블이 지정되지 않은 타깃 도메인 데이터에 대한 마스크 언어 모델링을 공동으로 최적화합니다. 이러한 공동 학습 방식은 타깃 도메인의 지식을 보존하면서 태스크 적응을 지원합니다. 본 연구는 20개의 도메인 이동에 걸쳐 Multi-Genre Natural Language Inference(MNLI) 데이터셋(dataset)에서 해당 방법을 평가합니다. 제안하는 접근법은 모델(model) 매개변수(parameter)의 7%만 업데이트하면서도 매개변수 효율적 SOTA인 UDapter 대비 평균 1.41%p, 전체 미세조정된 DANN 기준선(baseline) 대비 1.26%p, DSN 대비 0.86%p의 성능 향상을 달성합니다. 이러한 결과는 매개변수 효율적 비지도 도메인 적응에 대한 새로운 SOTA 결과를 확립하며, 동시 최적화를 갖춘 정교하게 설계된 PEFT 조합이 매개변수 효율적 접근법과 기존의 전체 미세조정 접근법 모두를 능가할 수 있음을 입증합니다.
소스-프리 도메인 적응(Source-Free Domain Adaptation, SFDA)은 원래의 소스 도메인에 접근하지 않고 소스 사전학습 모델을 라벨이 없는 타깃 도메인에 적응시키는 것을 목표로 합니다. 초기의 단일 모델 기반 접근법은 자체 개선(self-refinement)에 의존하지만, 본질적으로 확증 바이어스(confirmation bias)에 취약하며 자체적인 체계적 오류를 교정하는 데 어려움을 겪습니다. 이러한 한계를 극복하기 위해 최근 방법들은 비전-언어(Vision-Language, ViL) 모델을 외부 지식 원천으로 도입하고 있습니다. 그러나 이러한 접근법들은 주로 ViL 모델을 활용하여 소스 사전학습 모델을 감독하는 대체로 단방향적인 패러다임으로 작동합니다. 이는 두 모델이 서로 다른 실패 모드를 보인다는 주요 구조적 특성을 간과합니다. 즉, 한 모델이 잘못된 예측을 생성할 때 다른 모델은 올바른 예측을 생성할 수 있어, 타깃 도메인 내에서 자연스러운 상호 교정(mutual correction)의 기회가 형성됩니다. 하지만 정답(ground-truth) 라벨이 없으면 주어진 샘플에 대해 어떤 모델이 맞는지 식별하는 것은 간단하지 않으며, 단순하게 예측을 교환하는 것은 모델 간에 오류를 전파할 위험이 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 상호 모델 감독을 제어(gate)하기 위한 라벨-프리(label-free) 예측 신뢰도 척도로서 컷 통계량(cut statistic)을 활용하는 새로운 접근법인 SafeCut을 제안합니다. 제안하는 접근법은 상대적 신뢰도를 기반으로 감독의 방향과 강도를 모두 동적으로 제어하여, 샘플 단위로 잘못된 교정은 억제하면서 참된 교정을 선택적으로 증폭합니다. 나아가 이러한 신뢰도 기반 게이팅 메커니즘이 순-양수(net-positive)의 교정 신호를 보장함을 이론적으로 증명합니다. 다양한 SFDA 벤치마크에 걸친 광범위한 실험을 통해 SafeCut이 최고 수준의 성능(SOTA)을 달성함을 입증하며, 컷 통계량을 통해 SFDA에서 상호 교정을 보호하는 방법의 효과를 강조합니다.
행동과학을 활용하는 건강 중재(health intervention)는 환자가 건강한 습관을 습득하고 유지하여 의학적 결과를 개선하도록 돕는 프레임워크를 제공함으로써 행동 변화에 초점을 맞춥니다. 대면 중재는 비용이 많이 들고 확장하기 어려우며, 특히 자원이 제한된 지역에서는 더욱 그렇습니다. 디지털 건강 중재는 독립적인 생활과 자가 관리를 지원할 수 있는 비용 효율적인 접근 방식을 제공합니다. 특히 머신러닝을 통해 이러한 중재를 자동화하는 것은 최근 상당한 주목을 받고 있습니다. 양가감정 및 주저함(Ambivalence and hesitancy, A/H)은 개인이 건강 중재를 지연하거나 회피 또는 포기하게 만드는 주요한 원인으로 작용합니다. A/H는 미묘하고 상충되는 감정으로, 특정 행동에 대한 긍정적 평가와 부정적 평가 사이, 혹은 행동 참여에 대한 수용과 거부 사이의 상태에 사람을 놓이게 합니다. 이는 언어, 얼굴 표정, 음성 표현, 신체 언어 등과 같은 모달리티 전반 또는 단일 모달리티 내에서 정서적 불일치로 나타납니다. 전문가가 A/H를 인식하도록 훈련될 수는 있지만, 이를 디지털 건강 중재에 통합하는 것은 비용이 많이 들고 효율성이 떨어집니다. 따라서 자동 A/H 인식은 디지털 건강 중재의 개인 맞춤화 및 비용 효율성에 매우 중요합니다. 본 연구에서는 본질적으로 멀티모달 작업인 비디오 내 A/H 인식을 위한 심층 학습(deep learning) 모델의 적용을 탐구합니다. 특히 본 논문은 지도 학습, 개인 맞춤화를 위한 비지도 도메인 적응, 그리고 대규모 언어 모델(LLM)을 통한 제로샷 추론(zero-shot inference)이라는 세 가지 학습 설정을 다룹니다. 실험은 A/H 인식을 위해 최근 공개된 고유한 BAH 비디오 데이터셋(dataset)에서 수행되었습니다. 실험 결과는 제한적인 성능을 보여주며, 정확한 A/H 인식을 위해서는 더욱 적합화된 멀티모달 모델이 필요함을 시사합니다. 모달리티 내부 및 모달리티 간의 충돌을 활용하기 위해서는 시공간 모델링과 멀티모달 융합을 위한 더 나은 방법이 필요합니다.
비, 눈, 안개, 먼지와 같은 악천후 조건은 자율주행의 카메라 기반 인지 시스템에 여전히 큰 도전 과제입니다. 본 논문에서는 실제 주행 장면과 현저히 다른 비(非)로드뷰 출처에서 대부분의 학습(training) 데이터를 얻는 도메인 시프트(domain shift) 환경에서의 로드뷰 이미지 기반 다중 클래스 날씨 인식을 연구합니다. 이를 위해 도메인 판별자(domain discriminator)가 예측된 날씨 정보를 조건으로 활용하도록 하여, 도메인 불변적이면서도 날씨에는 민감한 특징을 학습하도록 유도하는 날씨 인지 적대적 차별 도메인 적응(Weather-Aware Adversarial Discriminative Domain Adaptation, WA-ADDA)을 제안합니다. 또한 다양한 비로드뷰 날씨 데이터 모음을 소스로, 실제 로드뷰 이미지를 타깃으로 통합한 다중 데이터셋(dataset) 벤치마크를 구축하고, 매크로 정확도(macro accuracy)를 주요 지표로 하는 표준화된 평가 프로토콜을 정의합니다. 여러 백본(ResNet-50, EfficientNet, VGG, DenseNet) 전반에서 WA-ADDA는 맑은 날씨에 대한 정확도를 유지하면서도 로드뷰 성능을 일관되게 향상시키고 까다로운 조건에서도 높은 클래스별 재현율(recall)을 달성했습니다. 이러한 결과는 도메인 적응 기반 날씨 인식의 실현 가능성과 강건한 차량 내 온보드 인지 기술 발전을 위한 본 벤치마크의 가치를 강조합니다.
최근 딥 생성 신경망은 정교한 텍스트 프롬프트를 활용하여 정밀한 이미지 및 비디오 편집에서 전례 없는 성능을 달성했습니다. 그러나 이러한 모델의 효과는 대규모의 라벨링된 지도 학습 이미지 데이터셋에 크게 의존하며, 이는 확보하기가 매우 어려울 수 있습니다. 이는 레이블 데이터와 겹치는 경우가 매우 드물고, 드물게 겹치는 경우에도 도메인 이동(domain shift)을 겪는 위성 기기의 경우 특히 두드러집니다. 본 논문에서는 위성 라디오미터(radiometer) 영상의 비지도 도메인 적응(unsupervised domain adaptation)을 위한 플로우 매칭(flow matching) 모델의 잠재력을 연구합니다. 우리의 주요 기여는 서로 다른 위성 기기를 조건으로 플로우 매칭 모델의 결정론적 상미분방정식(ordinary differential equations)의 일부를 활용하여 정밀한 도메인 정렬을 달성하는 새로운 비지도 방식입니다. 우리 접근법의 핵심적인 강점은 섭동(perturbation)이 이론상 전단사(bijective)이므로 임의의 도메인 간에 적응하면서도 필수적인 정보를 보존할 수 있다는 점입니다. GPM-Core 위성군을 대상으로 수행한 광범위한 실험을 통해 조건부 도메인 적응의 이점을 입증하였으며, 특히 라디오미터 영상 기반 강수량 추정 성능을 크게 개선함을 보여줍니다.
신뢰할 수 있는 비전 검사(visual inspection)는 항공기 엔진 블레이드 제조의 품질 보증에 필수적이며, 이때 결함의 외형은 생산 라인, 촬영 조건, 블레이드 포즈, 표면 배경에 따라 달라질 수 있다. 이러한 도메인 변화(domain shift)는 학습 데이터와 배포 데이터 간의 불일치를 유발하여 온라인 검사에서 딥 결함 탐지기(deep defect detector)의 신뢰성을 저하시킨다. 이 문제는 항공기 엔진 블레이드 이미지에 결함이 희소하게 존재하는 경우가 많아, 가짜 레이블(pseudolabel) 기반 적응이 노이즈가 있거나 누락된 예측에 취약해지기 때문에 특히 어렵다. 이 문제를 해결하기 위해 우리는 테스트 시점 적응(test-time adaptation)에 기반한 온라인 적응형 탐지 프레임워크인 Aero-engine Blade Defect Detector(ABDD)를 제안한다. ABDD는 특징 통계량 정렬(feature-statistics alignment)과 가짜 박스 정렬(pseudo-box alignment)을 결합하여 전역적인 시각적 스타일과 지역적인 결함 형태를 공동으로 적응시키는 이중 정렬 전략(Dual-Alignment Strategy)을 도입한다. 신뢰할 수 없는 가짜 레이블로 인한 오류 누적을 줄이기 위해, 불확실성 인지 박스 필터링(Uncertainty-aware Box Filtering) 메커니즘은 분류 신뢰도(classification confidence), 분류 엔트로피(classification entropy), 위치 결정 엔트로피(localization entropy)를 사용하여 가짜 박스를 평가한다. 또한, 경량의 Sparse Dilated Mona 모듈은 매개변수 효율적인 델타 튜닝(delta tuning)을 가능하게 하면서 소스 도메인 망각(source-domain forgetting)을 제한한다. ABDD는 여러 도메인 변화 시나리오에서 CD-AeBD와 HD-AeBD 데이터셋으로 평가되었으며, 통합된 RT-DETR + Swin-T 아키텍처 하에서 TTA 전략들을 비교하였다. 실험 결과, ABDD는 도메인 변화 상황에서 탐지 강건성을 일관되게 향상시키는 것으로 나타났으며, 산업용 검사 플랫폼에서 그 실용성이 추가로 검증되었다.
악천후 조건에서의 시맨틱 분할(semantic segmentation)을 위한 비지도 도메인 적응(UDA)은 극심한 외형 변화로 인해 도메인 격차가 커지고 타깃 도메인 내 의사 레이블(pseudo label)의 신뢰도가 저하되기 때문에 여전히 어려운 과제로 남아 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 클래스 내 믹싱된 이미지와 원본 이미지 간의 예측 일관성을 강제하는 ICM(Intra-Class Mixing Consistency) 프레임워크를 제안합니다. 서로 다른 이미지나 도메인 간의 영역을 결합하여 비현실적인 의미적 불일치를 유발할 수 있었던 기존의 믹싱 기반 일관성 방법들과 달리, ICM은 동일한 이미지 및 의미론적 클래스 내에서 믹싱을 수행하여 일관성 정규화(consistency regularization)를 위한 현실적인 의미론적 배치를 보존합니다. ICM을 통해 본 연구는 시맨틱 분할 분야의 맑은 날씨에서 악천후 환경으로의 비지도 도메인 적응(UDA)에서 최고 성능(SOTA)을 달성했습니다. Cityscapes $\rightarrow$ ACDC 벤치마크에서 제안 기법은 75.7\% mIoU를 달성하여 기존 최고 성능을 +1.9%p 능가하였으며, 까다로운 환경 조건에서도 클래스 혼동을 완화하는 데 효과적임을 입증했습니다. 코드는 보충 자료에서 제공됩니다.
원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.
비전 모델을 배포할 때 근본적인 난제는 도메인 시프트(domain shift)이며, 학습 데이터와 테스트 데이터의 분포가 달라 성능이 저하될 때 이를 야기한다. 동일한 의미 개념이 사진과 스케치처럼 서로 다른 시각적 형태로 나타날 때, 의미적으로는 대응하지만 시각적 유사성은 약해져 이 난제는 더욱 커진다. 기존 비지도 도메인 적응(domain adaptation) 방법은 도메인 간 분포를 맞추는 것을 목표로 하지만, 같은 클래스에 속한 샘플들 간의 의미적 관계를 종종 무시한다. 이 문제를 해결하기 위해 본 논문은 CLIP의 비전-언어(vision-language) 공간의 의미 구조를 도메인 적응에 활용하는 방법인 SPACE를 제안한다. 핵심 아이디어는 클래스 설명에 대한 CLIP 임베딩에 특이값 분해(Singular Value Decomposition)를 적용해 범주 간 의미적 관계를 포착하는 직교 기저(orthogonal basis)를 얻고, 텍스트 설명을 의미 앵커(semantic anchor)로 사용하는 것이다. 양 도메인의 시각 특징을 이 의미 부분공간(semantic subspace)에 투영하여, 외관이 아니라 의미에 기반해 이미지를 정렬한다.
현미경 이미지에 대한 도메인 간 세포 검출은 이미징 도메인 간 분포 변화(distribution shift)로 인해 성능 저하를 겪는다. 비지도 도메인 적응(Unsupervised Domain Adaptation, UDA) 전략은 타겟 도메인의 주석(annotated) 데이터 없이 도메인 변화를 극복하고자 시도한다. 그러나 소스 도메인의 주석 데이터 가용성과 타겟 도메인의 대규모 데이터 요구 사항은 모두 실제 시나리오에서 어려운 제약 조건이다. 이는 특히 의료 영상 분야에서 두드러지는데, 개인정보보호 요구 사항으로 인해 주석이 달린 소스 데이터에 대한 접근이 제한될 수 있고, 비용이 많이 드는 데이터 수집으로 인해 타겟 도메인의 광범위한 샘플링이 제한되기 때문이다. 이러한 문제를 해결하기 위해, 우리는 소스-프리 퓨샷 도메인 적응 객체 검출(Source-Free Few-Shot Domain Adaptive Object Detection, SF-FSDAOD) 설정을 위한 모듈형 프레임워크인 AdaptiveCDM을 제안한다. 이는 소스 데이터에 접근하지 않고 소수의 레이블이 지정된 타겟 이미지만을 사용하여 사전학습된 소스 모델을 적응시킨다. AdaptiveCDM은 해상도 인지 증강(Resolution-Aware Augmentation, RAug)과 범주 인지 표현 학습(Category-Aware Representation Learning, CARL)을 결합한다. RAug는 세포 구조의 스케일 충실도와 형태학적 특성을 보존하면서, 인스턴스 균형이 맞춰진 학습 예제를 증강함으로써 데이터 부족과 클래스 불균형을 완화한다. CARL은 클래스 일관성을 갖는 제안(proposal)을 촉진함으로써 판별적 표현 학습을 강화하여, 위치 파악(localization)과 분류 성능을 모두 향상시킨다. 우리는 또한 제안된 설정에 대한 두 가지 경쟁력 있는 베이스라인인 Faster-FreeShot과 MT-FreeShot을 소개한다. 우리의 접근 방식은 2-/5-shot 적응 하에서 M5에서 40.4/43.4 mAP0.5를, Raabin-WBC에서 67.1/75.5 mAP0.5를 달성한다. 소수의 레이블이 지정된 타겟 이미지만 사용하고 소스 데이터를 전혀 사용하지 않음에도 불구하고, AdaptiveCDM은 각 방법의 지도(supervision) 설정 하에서 SOTA(state-of-the-art) 방법들과 비교하여 경쟁력 있거나 더 우수한 성능을 달성한다. 절제 연구(ablation)와 정성적 분석은 각 구성 요소의 기여도와 저데이터(low-data) 환경에서 AdaptiveCDM의 효과성을 더욱 뒷받침한다. 코드/모델은 공개될 예정이다.
심층 학습은 채널 상태 정보(CSI) 피드백 및 채널 추정을 포함한 대규모 다중 입력 다중 출력(Massive MIMO) 물리 계층 태스크에서 강력한 잠재력을 보여주었다. 그러나 환경 이질성은 보지 못한 시나리오에서 CSI 모델의 성능을 심각하게 저하시킬 수 있으며, 기존 적응 방식은 타깃 도메인 데이터와 상당한 계산을 필요로 한다. 본 논문은 동적 무선 환경에서 CSI 모델의 신속한 배포를 위한 종단 간(end-to-end) 파이프라인인 채널 조건부 매개변수 생성(CCPG)을 제안한다. CCPG는 구성 요소 동결 실험을 통해 장면에 민감한 적응 병목을 식별하고, 전체 모델 매개변수 대신 경량 LoRA 가중치만 생성한다. 연쇄 SVD와 Perceiver Resampler를 사용하여 고차원 채널 특징을 압축된 잠재 조건으로 압축한다. 에너지 기반 정준화(canonicalization) 메커니즘은 LoRA 가중치의 순열 및 부호 모호성을 완화하며, 확산 기반 생성기는 구조적 정보와 토폴로지 인식 매개변수 생성을 위한 비대칭 크기 인식 손실을 통합한다. DeepMIMO 및 WAIR-D에서 CSI 피드백과 채널 추정에 대한 실험 결과, CCPG는 타깃 시나리오 학습이나 미세조정 없이 단일 순전파로 약 3초 만에 새로운 시나리오에 적응하며, 비용이 큰 온라인 적응에 필적하는 교차 도메인 복구 성능을 달성한다. 이러한 결과는 CCPG가 지능형 6G 통신을 위한 대규모 동적 무선 시나리오에서 CSI 모델의 효율적인 배포를 가능하게 함을 보여준다.
제어 밸브 스틱션은 산업 공정에서 원치 않는 진동과 제어 루프 성능 저하의 흔한 원인이다. 데이터 기반 방법은 스틱션을 자동으로 탐지할 수 있지만, 순수하게 시뮬레이션 데이터로 학습된 모델은 도메인 이동(domain shift)으로 인해 실제 산업 제어 루프에 일반화하기 어렵다. 이 격차를 해소하기 위해, 본 연구는 최적 수송(OT) 영상 기법과 심층 상관 정렬(Deep CORAL) 알고리즘을 결합한 새로운 스틱션 탐지 방법론을 제안한다. 폐루프 신호인 제어기 출력과 공정 변수(process variable)를 2차원 OT 이미지로 변환한다. 이 이미지들은 제어 루프의 동적 거동을 포착한다. 제안된 방법론은 라벨이 있는 시뮬레이션 데이터에 대한 교차 엔트로피 손실과, 시뮬레이션 데이터와 라벨 없는 대상 도메인 산업 데이터 간의 Deep CORAL(공분산 정렬) 손실을 최적화하는 결합 목적 함수를 통해 도메인 불변 표현을 학습하도록 훈련된 합성곱 신경망(CNN) 인코더(또는 특징 추출기)를 포함한다. 도메인 불변 대상 특징으로 학습된 하류 분류기는 산업 스틱션 데이터 벤치마크의 20개 벤치마크 루프로 구성된 독립 테스트 세트에서 평가되었다. 제안된 방법론은 20개 루프 중 18개를 성공적으로 진단했으며, 13개의 스틱션 사례 전체에서 재현율 100%, 정확도 90.00%, F1 점수 92.86%를 달성했다. 표준 기준선 접근법(수작업 특징 기반 방법)과 비교하여, 제안된 방법론은 도메인 이동을 크게 완화하여 실제 산업 제어 루프에 대한 견고하고 매우 신뢰할 수 있는 스틱션 탐지를 제공한다.
농업 로봇틱스에서 시각 내비게이션은 광범위하게 연구되어 왔지만, 대부분의 기존 시스템은 주간 조건을 가정한다. 실제로 야간에 자율 로봇을 배치하면 24시간 작물 및 토양 모니터링, 과일 수확, 야간 해충 탐지 등 상당한 이점을 제공한다. 그러나 현대 비전 기반 시스템은 대규모로 잘 주석 처리된 이미지 데이터셋에 크게 의존하는데, 야간 운용 시나리오에서는 이를 확보하기 어렵다. 이를 해결하기 위해, 우리는 픽셀 대 픽셀 지도 없이 주간 식물 행 RGB 이미지를 야간 근적외선(NIR) 대응 이미지로 변환하는 비지도 이미지 변환 프레임워크를 제안한다. 이를 통해 주간 의미 라벨을 야간 인식 모델 학습에 직접 재사용할 수 있다. 특히, 사전학습된 Contrastive Language-Image Pre-training(CLIP) 모델을 통합하여, 제안 프레임워크는 주간-야간 변환 과정에서 의미적 일관성을 보존하도록 설계되었다. 또한 야간 장면에서 NIR 조명의 제한된 유효 범위를 반영하기 위해 가시성 마스크(visibility mask)를 도입한다. 최신(state-of-the-art) 이미지 변환 베이스라인과 비교 평가를 수행하였으며, 야간 시각 내비게이션을 위한 하위 의미 분할(semantic segmentation) 성능 향상으로 뒷받침되듯 더 높은 이미지 품질을 입증한다. 평가를 위해, 농업 현장에서 야간 시야 장비를 갖춘 이동 로봇으로 수집하고 픽셀 단위 의미 라벨을 수동 주석 처리한 주간 428장 및 야간 549장 이미지로 구성된 새로운 데이터셋 AgriNight를 활용하고, 이를 야간 농업 시각 내비게이션을 위한 최초의 벤치마크로 소개한다. 또한 야간에 운용되는 실물 로봇으로 실시간 자율 내비게이션 실험을 수행한다. 데이터와 코드는 https://github.com/mamorobel/AgriNight 에서 이용할 수 있다.
3D 비지도 도메인 적응(UDA) 분할은 새로운 도메인 데이터의 수동 어노테이션에 소요되는 높은 비용을 줄여준다. 이 분야에서는 셀프 트레이닝(self-training)이 주류 접근법으로 자리잡았으며, 그 성공은 신뢰할 수 있는 의사 레이블(pseudo label)을 생성하기 위한 잘 초기화된 웜업 모델에 크게 의존한다. 그러나 기존 방법들은 웜업 모델을 얻기 위해 소스 지도학습 또는 출력 수준의 적대적 정렬(adversarial alignment)에 의존하는 경우가 많으며, 도메인 간 큰 도메인 격차로 인해 제한된 일반화 성능과 학습 불안정성 문제를 겪는다. 도메인 유사 표현을 구성하는 것은 이 격차를 좁히는 효과적인 방법이다. 본 연구에서는 CVKD-UDA를 제안하며, 복셀 크기(voxel size)를 도메인 유사 표현 구성의 핵심 설계 요소로 재조명하고, 교차 뷰(cross-view) 상보적 단서를 활용하여 웜업 모델의 전이 가능성(transferability)과 판별 가능성(discriminability)을 균형 있게 조율한다. 먼저, 복셀 크기를 변화시켜 두 가지 상보적 뷰를 생성하고, 교차 뷰 지식 증류(CVKD)를 도입하여 모델의 일반화 성능과 타겟 도메인 인식 능력을 향상시킨다. 다음으로, 전이 가능성과 판별 가능성의 균형을 맞추기 위해 경량 Decouple-Adapter와 보조 모방 분류기(auxiliary imitation classifier)를 설계하여 교차 뷰 지식 전이를 분리한다. 두 가지 벤치마크에 대한 광범위한 실험을 통해 CVKD-UDA가 셀프 트레이닝 방법의 성능을 효과적으로 향상시키고 3D UDA 분할에 새로운 관점을 제시함을 입증한다. 코드는 GitHub에 공개될 예정이다.
AdaIN과 CycleGAN 기반의 비지도 도메인 적응(domain adaptation) 모듈과 Swin Transformer V2 분류기를 결합한 다중 기관 유방촬영술 석회화 분류 프레임워크를 제안하며, OPTIMAM에서 학습 후 EMBED와 Duke Calcification Dataset에서 각각 AUC를 0.68에서 0.72, 0.73으로 향상시켜 다기관 간 도메인 이동 문제를 완화하였다.
비지도 도메인 적응(UDA)에서의 적대적 강건성은 노이즈가 많은 의사 레이블과 깨끗한 소스 도메인과 적대적으로 교란된 타겟 도메인 간의 내재적 분포 이동으로 인해 여전히 중요한 과제로 남아 있다. 기존 접근법들은 도메인 적응 모델이 생성한 의사 레이블이 적대적 공격 하에서 분류 오류를 유발하는 경향이 있어, 강건성과 정확도 간의 최적 균형을 달성하지 못하는 경우가 많다. 본 연구에서는 CLIP의 사전학습된 시각 인코더 위에 지도 미세조정(SFT)과 강화학습(RL)을 통합한 2단계 강건 UDA 프레임워크인 SFT+RL을 제안한다. SFT 단계에서는 레이블이 있는 소스 도메인에 대해 PGD 기반 교란을 사용하여 선형 분류기를 적대적으로 미세조정하는 동시에 CLIP의 프로젝션 층을 부분적으로 동결 해제한다. 이를 통해 CLIP의 풍부한 의미론적 사전 지식을 보존하면서 적대적 노이즈에 적응할 수 있다. RL 단계에서는 레이블이 없는 타겟 샘플을 점진적으로 주석 처리하기 위한 신뢰도 기반 의사 레이블링 전략을 도입한다. 의사 레이블은 품질과 커버리지의 균형을 맞추기 위해 감쇠하는 신뢰도 임계값으로 필터링되며, 모델은 깨끗한 소스 샘플과 고신뢰도 타겟 샘플을 결합하여 구성한 복합 데이터셋으로 학습된다. 도메인 간 강건성을 높이기 위해 깨끗한 예제와 적대적 예제의 혼합 배치에 적대적 학습이 적용된다. OfficeHome, PACS, VisDA 세 가지 벤치마크 데이터셋에 대한 종합적인 평가를 통해 제안 방법의 효과가 입증되었다. 특히 SFT+RL은 세 데이터셋 전체에서 깨끗한 정확도 10.2%, 적대적 강건성 15.8%의 평균 향상을 달성하여 기존 최신 기법들을 능가하였다.
임상 심장 영상 파이프라인은 현재 각 데이터셋과 모달리티별로 별도의 모델을 배포하여 중복적인 학습 비용이 발생하고, 해부학적으로 연관된 태스크 간의 지식 공유가 불가능하다. 따라서 반지도 학습(semi-supervised learning), 비지도 도메인 적응(unsupervised domain adaptation), 도메인 일반화(domain generalisation)를 하나의 모델로 통합하는 것은 실질적인 필요 사항이나, 단순한 결합 학습은 근본적인 장벽을 드러낸다: 데이터셋 간 레이블 의미 충돌로 LA Dice 점수가 90.31%에서 83.38%로 하락하고, 복잡도가 불균등한 태스크 간 그래디언트 불균형이 학습 전반에 걸쳐 약한 태스크를 억제한다. 우리는 세 가지 목표 지향적 메커니즘을 통해 이러한 충돌을 해소하는 통합 확산 이미지 분할 프레임워크인 UniT-Diff를 제안한다. 11채널 태스크별 출력 공간이 레이블 범주를 물리적으로 분리하여, 설계 자체에서 태스크 간 그래디언트 부호 반전을 제거한다. SNR 적응형 태스크 컨디셔닝(SATC)은 현재 확산 타임스텝의 로그 신호 대 잡음비로 태스크 토큰을 스케일링하여, 거친 노이즈 제거 단계에서 도메인 특화 바이어스를 억제하고 신호가 명확해짐에 따라 완전한 태스크 가이던스를 복원한다. 태스크 유형 인식 조건부 드롭아웃(TTACD)은 도메인 일반화 입력에 대해 태스크 토큰을 영구적으로 제거하여, 소스 벤더 통계보다 데이터셋 간 심장 해부학 정보를 활용하는 공유 중립 경로를 통해 라우팅한다. 단일 매개변수 세트로, UniT-Diff는 세 가지 벤치마크 모두에서 독립적으로 학습된 태스크별 기준 모델을 동시에 능가한다: LA에서 +0.87%, MMWHS에서 +1.77%, MNMS에서 +0.88%.