ProtoDCS: 비전-언어 모델을 위한 강건하고 효율적인 열린 집합 테스트 시간 적응을 향하여
ProtoDCS: Towards Robust and Efficient Open-Set Test-Time Adaptation for Vision-Language Models
한국어 초록
대규모 비전-언어(vision-language) 모델(VLM)은 강력한 제로샷(zero-shot) 인식 성능을 보이지만, 실제 배포 환경에서는 분포 변화(distribution shift)로 인한 난관에 직면합니다. 테스트 시간 적응(TTA)을 통해 이를 완화할 수 있으나, 기존의 VLM 기반 TTA 방법들은 닫힌 집합(closed-set) 가정을 기반으로 작동하므로, 테스트 스트림에 공변량 변화가 발생한 분포 내(csID) 데이터와 분포 외(csOOD) 데이터가 모두 포함되는 열린 집합 시나리오에서는 제 역할을 하지 못합니다. 이는 중대한 문제를 야기합니다. 즉, 모델은 간섭을 피하기 위해 미지의 csOOD 샘플을 식별하는 동시에, 정확도를 유지하기 위해 알려진 csID 클래스에 적응해야 합니다. 기존의 열린 집합 TTA(OSTTA) 방법들은 분리를 위해 고정된 임계값(hard threshold)에 의존하고 적응을 위해 엔트로피 최소화에 의존합니다. 이러한 전략은 취약하여 모호한 csOOD 샘플을 오분류하고 과도한 확신의 예측을 유도하기 쉬우며, 매개변수(parameter) 업데이트 메커니즘은 VLM에 적용하기에 연산 비용이 지나치게 큽니다. 이러한 한계를 해결하기 위해, 본 논문에서는 csID와 csOOD 샘플을 효과적으로 분리하여 VLM이 csID 데이터에 안전하고 효율적으로 적응할 수 있도록 지원하는 견고한 OSTTA 프레임워크인 프로토타입 기반 이중 검증 분리(ProtoDCS, Prototype-based Double-Check Separation)를 제안합니다. 본 연구의 주요 기여는 다음과 같습니다: (1) 취약한 임계값 설정을 대체하기 위해 확률적 가우시안 혼합 모델(GMM) 검증을 활용하는 새로운 이중 검증 분리 메커니즘, (2) 불확실성을 인식하는 손실(loss)과 효율적인 프로토타입 수준의 업데이트를 활용하여 과도한 확신을 완화하고 연산 오버헤드를 줄이는 증거 기반 적응 전략. CIFAR-10/100-C 및 Tiny-ImageNet-C에 대한 광범위한 실험을 통해 ProtoDCS가 최고 수준(SOTA)의 성능을 달성하며, 알려진 클래스에 대한 정확도와 OOD 탐지 지표를 모두 크게 향상시킴을 입증합니다. 코드는 https://github.com/O-YangF/ProtoDCS 에서 공개될 예정입니다.
원문 초록
Large-scale Vision-Language Models (VLMs) exhibit strong zero-shot recognition, yet their real-world deployment is challenged by distribution shifts. While Test-Time Adaptation (TTA) can mitigate this, existing VLM-based TTA methods operate under a closed-set assumption, failing in open-set scenarios where test streams contain both covariate-shifted in-distribution (csID) and out-of-distribution (csOOD) data. This leads to a critical difficulty: the model must discriminate unknown csOOD samples to avoid interference while simultaneously adapting to known csID classes for accuracy. Current open-set TTA (OSTTA) methods rely on hard thresholds for separation and entropy minimization for adaptation. These strategies are brittle, often misclassifying ambiguous csOOD samples and inducing overconfident predictions, and their parameter-update mechanism is computationally prohibitive for VLMs. To address these limitations, we propose Prototype-based Double-Check Separation (ProtoDCS), a robust framework for OSTTA that effectively separates csID and csOOD samples, enabling safe and efficient adaptation of VLMs to csID data. Our main contributions are: (1) a novel double-check separation mechanism employing probabilistic Gaussian Mixture Model (GMM) verification to replace brittle thresholding; and (2) an evidence-driven adaptation strategy utilizing uncertainty-aware loss and efficient prototype-level updates, mitigating overconfidence and reducing computational overhead. Extensive experiments on CIFAR-10/100-C and Tiny-ImageNet-C demonstrate that ProtoDCS achieves state-of-the-art performance, significantly boosting both known-class accuracy and OOD detection metrics. Code will be available at https://github.com/O-YangF/ProtoDCS.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASV3D: 추가 이미지를 활용한 확산 기반 단일 뷰 3D 복원 적응
ASV3D: Adapting Diffusion-Based Single-View 3D Reconstruction with Extra Imagery
단일 이미지로부터 3D 객체를 복원하는 것은 컴퓨터 비전(CV) 분야의 핵심 연구 주제입니다. 주요 과제는 3D 구조를 완성하기 위한 중요한 시점(viewpoint)의 정보가 부족하다는 점입니다. 추가 시점 이미지를 사용하면 이 문제를 해결하는 데 도움이 될 수 있습니다. 그러나 확산(diffusion) 기반 단일 뷰 3D 복원 원리에 추가 시점을 통합할 수 있는 메커니즘은 존재하지 않습니다. 본 연구에서는 하나의 추가 이미지를 지원받아 확산 기반 단일 뷰 3D 객체 복원을 테스트 시점 데이터에 적응시키는 프레임워크인 ASV3D를 제안하여 이 문제를 해결합니다. 우리는 두 가지 적응 전략을 도입합니다: (i) 재학습 없이 보조 이미지를 활용하여 객체의 복원 품질을 향상시키는 제로샷(zero-shot) 적응 기법과, (ii) 대조 학습(contrastive learning)을 통해 시각적 충실도와 시점 간 일관성을 더욱 향상시키는 최적화(optimised) 적응 기법입니다. 벤치마크 및 실제 데이터셋 모두에서 두 가지 최첨단 확산 기반 단일 뷰 3D 복원 파이프라인을 개선하기 위해 ASV3D를 적용했습니다. 실험 결과는 우리의 접근 방식이 제약 없는 다중 뷰 입력 환경에서 복원 정확도와 강건성을 일관되게 향상시키며, 정량적 지표와 사용자 선호도 모두에서 베이스라인을 능가함을 입증합니다. 우리는 코드와 실제 객체 데이터셋을 프로젝트 페이지(https://github.com/YNhuHuynh/ASV3D/tree/main)에 공개합니다.
심각한 분포 이동 환경의 비디오를 위한 이중 지식 증류 기반 테스트 시간 적응
Test-Time Adaptation via Dual Distillation for Videos Under Severe Distribution Shifts
심층 학습 모델은 여러 컴퓨터 비전(CV) 작업에서 최첨단 성능을 달성해 왔다. 그러나 예상치 못한 분포 이동으로 인해 실제 환경에 적용할 때 심각한 성능 저하를 겪는다. 테스트 시간 적응(TTA)은 소스 데이터에 접근하지 않고, 타깃 도메인의 비레이블 데이터를 사용하여 추론 시점에 테스트 분포에 동적으로 적응함으로써 이 문제를 해결하려 한다. 그러나 연속적이고 시간적으로 상관된 데이터(예: 비디오)에 적응하거나, 타깃 도메인에 심각한 도메인 이동이 존재하는 시나리오에서는 TTA가 여전히 어려운 문제로 남아 있다. 이러한 이유로, 문헌에서 이와 같은 극한 조건 하의 비디오 TTA를 탐구한 연구는 많지 않다. 이러한 한계를 극복하기 위해, 우리는 도메인 간격을 메우기 위해 경량 투영 어댑터에 의존하는 온라인 적응 프레임워크인 이중 지식 증류 기반 테스트 시간 적응(TADD)을 제안한다. 어댑터 모듈은 소스 도메인에서 사전학습된 후, 우리가 제안한 상보적 손실을 사용하여 타깃에 적응된다: (i) 제로샷 지식 증류는 사전학습된 비전-언어 모델(VLM)의 도메인 불변 특징과의 정렬을 장려하고, (ii) 타깃 지식 증류는 사전학습된 어댑터에 인코딩된 소스 도메인의 판별적 지식을 유지한다. 고정된 CLIP 백본 위에 구축된 우리 방법은 추론 동안 유일하게 갱신 가능한 구성 요소로 이 경량 투영 어댑터를 도입한다. 우리는 UCF-HMDB, Daily-DA, Sports-DA의 세 가지 잘 알려진 비디오 행동 인식 벤치마크에서 광범위한 평가를 수행했다. 폐쇄 집합(closed-set) 시나리오에서의 실험은 우리 방법이 최첨단 TTA 기준선을 일관되게 능가함을 보여준다. 특히, 우리의 TTA 접근법은 UCF-HMDB에서 최대 +3.81%, Daily-DA에서 +2.63%, Sports-DA에서 +3.03%만큼 이전 방법 대비 향상된다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
WISE-ATTA: 예산 제약이 있는 능동적 테스트 타임 적응에서 레이블을 요청해야 하는 시점
WISE-ATTA: When to Ask for Labels in Budgeted Active Test-Time Adaptation
능동적 테스트 타임 적응(Active Test-Time Adaptation, ATTA)은 감독(supervision) 정보를 선택적으로 요청하면서 추론(inference) 중에 배포된 모델을 업데이트함으로써 분포 변화(distribution shift) 하에서의 강건성을 향상시킵니다. 그러나 대부분의 기존 ATTA 방식은 들어오는 모든 테스트 배치(batch)에 대해 감독을 요청할 수 있다고 암묵적으로 가정하므로, 긴 테스트 스트림에 걸쳐 상당한 라벨링 비용이 발생할 수 있습니다. 본 연구에서는 테스트 배치의 일부에 대해서만 레이블을 사용할 수 있는 예산 제약 기반의 ATTA(budgeted ATTA)를 소개합니다. 이러한 정형화는 핵심 과제를 배치 내에서 무엇에 레이블을 지정할지 결정하는 문제에서 시간에 따라 언제 감독을 적용해야 하는지 결정하는 문제로 전환합니다. 이 문제를 해결하기 위해, 온라인으로 계산되는 경량 신호에 기반하여 테스트 스트림 전체에 걸쳐 감독을 할당하고 감독이 가장 유용할 것으로 예상되는 시점을 우선시하는 예산 인식 접근 방식인 WISE-ATTA를 제안합니다. 감독 대상 배치가 선택되면, 지속적이고 아직 수렴되지 않은 적응 역학을 보이는 샘플을 목표로 하는 드리프트 기반 샘플 선택 기준을 추가로 적용하여 단 하나의 레이블된 예시로도 효과적인 업데이트를 가능하게 합니다. 우리는 합성 손상(ImageNet-C) 및 자연 분포 변화(ImageNet-R/K/A) 환경에서 이 접근 방식을 평가합니다. 다양한 설정 전반에 걸쳐 WISE-ATTA는 훨씬 적은 레이블을 사용하면서도 최신 ATTA 방식과 비교해 경쟁력 있거나 향상된 성능을 달성합니다. 전반적으로 우리는 감독의 타이밍이 능동적 테스트 타임 적응에서 핵심적이면서도 아직 충분히 탐구되지 않은 측면임을 확인했습니다. 코드: https://github.com/Muhammad-Huzaifaa/WISE-ATTA
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
저자원 언어 감성 분석에서의 제로샷 도메인 전이 향상: 마라티어 사례 연구
Enhancing Zero-Shot Domain Transfer in Low-Resource Sentiment Analysis: A Case Study in Marathi
감성 분석(sentiment analysis)은 텍스트 내 의견의 극성을 판별하는 자연어 처리(NLP)의 핵심 과제입니다. 마라티어와 같이 데이터가 제한되어 표준 통계적 방법론의 직접적인 적용이 어려운 저자원(low-resource) 언어의 경우, 모델은 주로 단일 도메인 데이터셋으로 학습됩니다. 이는 도메인 내(in-domain) 성능은 뛰어나지만, 보지 못한(unseen) 도메인에 대한 일반화 성능 저하로 이어집니다. 최근 연구들은 다중 도메인 모델링을 통해 다양한 실제 환경의 콘텐츠를 처리할 수 있는 도메인 견고형 시스템의 필요성을 강조하고 있습니다. 본 연구는 다중 도메인 학습이 보지 못한 마라티어 도메인에 대한 감성 분류를 어떻게 개선하는지 조사합니다. 모델은 단일 도메인, 2개 도메인 및 3개 도메인 데이터셋 조합을 사용하여 학습되었습니다. 실험 결과, 2개 도메인 학습은 단일 도메인 학습에 비해 보지 못한 도메인에 대한 정확도를 약 8% 향상시키는 것으로 나타났습니다. 세 번째 도메인을 추가하면 추가적인 개선이 이루어지지만, 그 증가 폭은 더 작아 일부 도메인에서는 평균 약 2% 수준이었습니다. 이러한 결과는 다중 도메인 데이터로 학습하는 것이 저자원 언어를 위한 더욱 견고한 감성 분석 모델을 구축하는 데 도움이 되지만, 도메인이 추가될수록 그 이득은 점차 줄어든다는 점을 시사합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted by IEEE TCSVT