arXiv:2109.12746

Training on Test Data with Bayesian Adaptation for Covariate Shift

Aurick Zhou, Sergey Levine

제출 2021-09-27

원문 초록

When faced with distribution shift at test time, deep neural networks often make inaccurate predictions with unreliable uncertainty estimates. While improving the robustness of neural networks is one promising approach to mitigate this issue, an appealing alternate to robustifying networks against all possible test-time shifts is to instead directly adapt them to unlabeled inputs from the particular distribution shift we encounter at test time. However, this poses a challenging question: in the standard Bayesian model for supervised learning, unlabeled inputs are conditionally independent of model parameters when the labels are unobserved, so what can unlabeled data tell us about the model parameters at test-time? In this paper, we derive a Bayesian model that provides for a well-defined relationship between unlabeled inputs under distributional shift and model parameters, and show how approximate inference in this model can be instantiated with a simple regularized entropy minimization procedure at test-time. We evaluate our method on a variety of distribution shifts for image classification, including image corruptions, natural distribution shifts, and domain adaptation settings, and show that our method improves both accuracy and uncertainty estimation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.37687v3cs.AI공통 태그 Image Classification, Domain Adaptation

WISE-ATTA: 예산 제약이 있는 능동적 테스트 타임 적응에서 레이블을 요청해야 하는 시점

WISE-ATTA: When to Ask for Labels in Budgeted Active Test-Time Adaptation

능동적 테스트 타임 적응(Active Test-Time Adaptation, ATTA)은 감독(supervision) 정보를 선택적으로 요청하면서 추론(inference) 중에 배포된 모델을 업데이트함으로써 분포 변화(distribution shift) 하에서의 강건성을 향상시킵니다. 그러나 대부분의 기존 ATTA 방식은 들어오는 모든 테스트 배치(batch)에 대해 감독을 요청할 수 있다고 암묵적으로 가정하므로, 긴 테스트 스트림에 걸쳐 상당한 라벨링 비용이 발생할 수 있습니다. 본 연구에서는 테스트 배치의 일부에 대해서만 레이블을 사용할 수 있는 예산 제약 기반의 ATTA(budgeted ATTA)를 소개합니다. 이러한 정형화는 핵심 과제를 배치 내에서 무엇에 레이블을 지정할지 결정하는 문제에서 시간에 따라 언제 감독을 적용해야 하는지 결정하는 문제로 전환합니다. 이 문제를 해결하기 위해, 온라인으로 계산되는 경량 신호에 기반하여 테스트 스트림 전체에 걸쳐 감독을 할당하고 감독이 가장 유용할 것으로 예상되는 시점을 우선시하는 예산 인식 접근 방식인 WISE-ATTA를 제안합니다. 감독 대상 배치가 선택되면, 지속적이고 아직 수렴되지 않은 적응 역학을 보이는 샘플을 목표로 하는 드리프트 기반 샘플 선택 기준을 추가로 적용하여 단 하나의 레이블된 예시로도 효과적인 업데이트를 가능하게 합니다. 우리는 합성 손상(ImageNet-C) 및 자연 분포 변화(ImageNet-R/K/A) 환경에서 이 접근 방식을 평가합니다. 다양한 설정 전반에 걸쳐 WISE-ATTA는 훨씬 적은 레이블을 사용하면서도 최신 ATTA 방식과 비교해 경쟁력 있거나 향상된 성능을 달성합니다. 전반적으로 우리는 감독의 타이밍이 능동적 테스트 타임 적응에서 핵심적이면서도 아직 충분히 탐구되지 않은 측면임을 확인했습니다. 코드: https://github.com/Muhammad-Huzaifaa/WISE-ATTA

arXiv:2610.13697v1cs.CV공통 태그 Image Classification, Domain Adaptation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.00693v1cs.CV공통 태그 Image Classification, Domain Adaptation

FedMAD: 원격 탐사(Remote Sensing) 이미지 분류를 위한 연합학습(Federated Learning)에서의 변조 인지 방향성 집계

FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification

연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.

arXiv:2607.22994v1cs.CV공통 태그 Image Classification, Domain Adaptation

학습 없는 생성형 리플레이 기반 클래스 증분 학습에서 합성-실제 도메인 단축 경로 극복

Breaking the Synthetic-Real Domain Shortcut for Training-Free Generative Replay-based Class Incremental Learning

클래스 증분 학습(CIL)은 모델이 치명적 망각(catastrophic forgetting)을 피하면서 지속적으로 새로운 지식을 습득해야 한다. 예시(exemplar) 리플레이는 효과적이지만 프라이버시와 저장 공간 측면에서 우려를 제기한다. 따라서 생성형 리플레이가 실현 가능한 대안으로 부상했으며, 추가 학습 없이 고정된 사전학습(pre-trained) 텍스트-이미지(T2I) 모델을 사용해 이전 클래스 데이터를 합성한다. 그러나 증분 학습 중 합성된 이전 클래스 데이터와 실제 새 클래스 데이터를 직접 혼합하면 성능이 크게 저하된다는 것을 관찰했다. 이 문제는 모델이 의미적 클래스 단서 대신 도메인 판별(discriminative) 특징에 의존하는 "도메인 단축 경로(domain shortcut)"에서 비롯된다. 이를 해결하기 위해 DREAM($\underline{\mathbf{D}}$omain-$\underline{\mathbf{R}}$egularized $\underline{\mathbf{E}}$xemplar-free $\underline{\mathbf{A}}$lignment $\underline{\mathbf{M}}$odel)을 제안한다. DREAM은 학습 없는 생성기로 이전 클래스 데이터를 합성하고, 부분공간(subspace) 정정(rectification)과 직교 투영(orthogonal projection)을 통해 도메인 단축 경로를 제거하며, 실제 데이터에 고정된(real-anchored) 프로토타입 정규화(prototype regularization)로 의미적 정렬(alignment)을 강화한다. 4개 데이터셋에 대한 광범위한 실험에서 DREAM은 기존 예시 없는 CIL 방법을 능가하며 최첨단(state-of-the-art) 성능을 달성한다. 소스 코드는 https://github.com/Light-ZhangTao/DREAM 에서 제공된다.

arXiv:2607.22486v1cs.CV공통 태그 Image Classification, Domain Adaptation

제어 밸브 스틱션 탐지를 위한 최적 수송(Optimal Transport) 이미지 표현 및 심층 공분산 정렬(CORAL)

Optimal Transport Image Representation and Deep Covariance Alignment (CORAL) for Control Valve Stiction Detection

제어 밸브 스틱션은 산업 공정에서 원치 않는 진동과 제어 루프 성능 저하의 흔한 원인이다. 데이터 기반 방법은 스틱션을 자동으로 탐지할 수 있지만, 순수하게 시뮬레이션 데이터로 학습된 모델은 도메인 이동(domain shift)으로 인해 실제 산업 제어 루프에 일반화하기 어렵다. 이 격차를 해소하기 위해, 본 연구는 최적 수송(OT) 영상 기법과 심층 상관 정렬(Deep CORAL) 알고리즘을 결합한 새로운 스틱션 탐지 방법론을 제안한다. 폐루프 신호인 제어기 출력과 공정 변수(process variable)를 2차원 OT 이미지로 변환한다. 이 이미지들은 제어 루프의 동적 거동을 포착한다. 제안된 방법론은 라벨이 있는 시뮬레이션 데이터에 대한 교차 엔트로피 손실과, 시뮬레이션 데이터와 라벨 없는 대상 도메인 산업 데이터 간의 Deep CORAL(공분산 정렬) 손실을 최적화하는 결합 목적 함수를 통해 도메인 불변 표현을 학습하도록 훈련된 합성곱 신경망(CNN) 인코더(또는 특징 추출기)를 포함한다. 도메인 불변 대상 특징으로 학습된 하류 분류기는 산업 스틱션 데이터 벤치마크의 20개 벤치마크 루프로 구성된 독립 테스트 세트에서 평가되었다. 제안된 방법론은 20개 루프 중 18개를 성공적으로 진단했으며, 13개의 스틱션 사례 전체에서 재현율 100%, 정확도 90.00%, F1 점수 92.86%를 달성했다. 표준 기준선 접근법(수작업 특징 기반 방법)과 비교하여, 제안된 방법론은 도메인 이동을 크게 완화하여 실제 산업 제어 루프에 대한 견고하고 매우 신뢰할 수 있는 스틱션 탐지를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.