Effective Restoration of Source Knowledge in Continual Test Time Adaptation
원문 초록
Traditional test-time adaptation (TTA) methods face significant challenges in adapting to dynamic environments characterized by continuously changing long-term target distributions. These challenges primarily stem from two factors: catastrophic forgetting of previously learned valuable source knowledge and gradual error accumulation caused by miscalibrated pseudo labels. To address these issues, this paper introduces an unsupervised domain change detection method that is capable of identifying domain shifts in dynamic environments and subsequently resets the model parameters to the original source pre-trained values. By restoring the knowledge from the source, it effectively corrects the negative consequences arising from the gradual deterioration of model parameters caused by ongoing shifts in the domain. Our method involves progressive estimation of global batch-norm statistics specific to each domain, while keeping track of changes in the statistics triggered by domain shifts. Importantly, our method is agnostic to the specific adaptation technique employed and thus, can be incorporated to existing TTA methods to enhance their performance in dynamic environments. We perform extensive experiments on benchmark datasets to demonstrate the superior performance of our method compared to state-of-the-art adaptation methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
균일성 우선: 이미지 손상에 대응하는 비전-언어 모델의 균일성 인식 테스트 시점 적응
Uniformity First: Uniformity-aware Test-time Adaptation of Vision-language Models against Image Corruption
대조적 언어-이미지 사전학습(CLIP)과 같은 사전학습된 비전-언어 모델은 뛰어난 일반화 능력을 보여 왔으며, 이를 통해 제로샷 분류를 비롯한 다양한 응용이 가능해졌다. 그러나 비전-언어 모델은 입력 샘플이 학습 샘플과 큰 차이를 보이는 분포 변화(distribution shift)를 다루는 데에는 여전히 어려움을 겪는다. 우리는 CLIP이 날씨, 조명, 노이즈와 같은 센서 조건으로 인해 발생하는 현실적인 분포 변화의 일종인 이미지 손상(image corruption)에 특히 취약함을 발견했다. 이미지 손상은 예기치 않게 발생하며 그 유형이 매우 다양하기 때문에, 미세조정을 위해 테스트 분포에서 새로운 데이터셋을 수집하는 것은 비용이 매우 크다. 따라서 우리는 레이블이 없는 테스트 데이터로 테스트 분포에 즉각적으로 적응할 수 있는 제로샷 분류의 테스트 시점 적응(test-time adaptation, TTA)을 연구한다. CLIP을 위한 기존 TTA 방법은 주로 분포 변화를 해결하기 위해 이미지 및 텍스트 임베딩이나 예측을 수정하는 데 초점을 맞춘다. 이러한 방법은 분포 외(out-of-distribution)나 입력 이미지의 서로 다른 렌디션(rendition)과 같은 도메인 변화에는 적응할 수 있지만, 이미지 손상처럼 도메인 변화를 넘어서는 분포 변화에는 적응하지 못한다. 우리는 정보량과 관련된 이미지 임베딩의 균일성(uniformity)이 도메인 변화와 그 밖의 분포 변화를 구분하는 핵심 요인임을 발견했다. 이미지 손상에 대한 적응을 가능하게 하기 위해, 우리는 균일성 인식 정보 균형 TTA(uniformity-aware information-balanced TTA, UnInfo)라는 새로운 방법을 제안한다. 분포 변화를 해결하기 위해 균일성 인식 신뢰도 최대화, 정보 인식 손실 균형 조정, 그리고 지수 이동 평균(EMA) 교사 모델로부터의 지식 증류를 도입한다. 실험을 통해 UnInfo가 균일성 측면에서 정보를 보존함으로써 이미지 손상 상황에서의 정확도를 향상시킴을 보인다. 코드는 https://github.com/kzkadc/uninfo 에서 확인할 수 있다.
Precision Spatio-Temporal Feature Fusion for Robust Remote Sensing Change Detection
Be the Change You Want to See: Revisiting Remote Sensing Change Detection Practices
HydroChronos: Forecasting Decades of Surface Water Change
Stepwise Decomposition and Dual-stream Focus: A Novel Approach for Training-free Camouflaged Object Segmentation
$\texttt{AVROBUSTBENCH}$: Benchmarking the Robustness of Audio-Visual Recognition Models at Test-Time
토론
이 논문과 연결된 포럼 글이 아직 없습니다.