arXiv:2101.07308

Knowledge Distillation Methods for Efficient Unsupervised Adaptation Across Multiple Domains

Le Thanh Nguyen-Meidine, Atif Belal, Madhu Kiran, Jose Dolz, Louis-Antoine Blais-Morin, Eric Granger

제출 2021-01-18

원문 초록

Beyond the complexity of CNNs that require training on large annotated datasets, the domain shift between design and operational data has limited the adoption of CNNs in many real-world applications. For instance, in person re-identification, videos are captured over a distributed set of cameras with non-overlapping viewpoints. The shift between the source (e.g. lab setting) and target (e.g. cameras) domains may lead to a significant decline in recognition accuracy. Additionally, state-of-the-art CNNs may not be suitable for such real-time applications given their computational requirements. Although several techniques have recently been proposed to address domain shift problems through unsupervised domain adaptation (UDA), or to accelerate/compress CNNs through knowledge distillation (KD), we seek to simultaneously adapt and compress CNNs to generalize well across multiple target domains. In this paper, we propose a progressive KD approach for unsupervised single-target DA (STDA) and multi-target DA (MTDA) of CNNs. Our method for KD-STDA adapts a CNN to a single target domain by distilling from a larger teacher CNN, trained on both target and source domain data in order to maintain its consistency with a common representation. Our proposed approach is compared against state-of-the-art methods for compression and STDA of CNNs on the Office31 and ImageClef-DA image classification datasets. It is also compared against state-of-the-art methods for MTDA on Digits, Office31, and OfficeHome. In both settings -- KD-STDA and KD-MTDA -- results indicate that our approach can achieve the highest level of accuracy across target domains, while requiring a comparable or lower CNN complexity.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.37687v3cs.AI공통 태그 Image Classification, Domain Adaptation

WISE-ATTA: 예산 제약이 있는 능동적 테스트 타임 적응에서 레이블을 요청해야 하는 시점

WISE-ATTA: When to Ask for Labels in Budgeted Active Test-Time Adaptation

능동적 테스트 타임 적응(Active Test-Time Adaptation, ATTA)은 감독(supervision) 정보를 선택적으로 요청하면서 추론(inference) 중에 배포된 모델을 업데이트함으로써 분포 변화(distribution shift) 하에서의 강건성을 향상시킵니다. 그러나 대부분의 기존 ATTA 방식은 들어오는 모든 테스트 배치(batch)에 대해 감독을 요청할 수 있다고 암묵적으로 가정하므로, 긴 테스트 스트림에 걸쳐 상당한 라벨링 비용이 발생할 수 있습니다. 본 연구에서는 테스트 배치의 일부에 대해서만 레이블을 사용할 수 있는 예산 제약 기반의 ATTA(budgeted ATTA)를 소개합니다. 이러한 정형화는 핵심 과제를 배치 내에서 무엇에 레이블을 지정할지 결정하는 문제에서 시간에 따라 언제 감독을 적용해야 하는지 결정하는 문제로 전환합니다. 이 문제를 해결하기 위해, 온라인으로 계산되는 경량 신호에 기반하여 테스트 스트림 전체에 걸쳐 감독을 할당하고 감독이 가장 유용할 것으로 예상되는 시점을 우선시하는 예산 인식 접근 방식인 WISE-ATTA를 제안합니다. 감독 대상 배치가 선택되면, 지속적이고 아직 수렴되지 않은 적응 역학을 보이는 샘플을 목표로 하는 드리프트 기반 샘플 선택 기준을 추가로 적용하여 단 하나의 레이블된 예시로도 효과적인 업데이트를 가능하게 합니다. 우리는 합성 손상(ImageNet-C) 및 자연 분포 변화(ImageNet-R/K/A) 환경에서 이 접근 방식을 평가합니다. 다양한 설정 전반에 걸쳐 WISE-ATTA는 훨씬 적은 레이블을 사용하면서도 최신 ATTA 방식과 비교해 경쟁력 있거나 향상된 성능을 달성합니다. 전반적으로 우리는 감독의 타이밍이 능동적 테스트 타임 적응에서 핵심적이면서도 아직 충분히 탐구되지 않은 측면임을 확인했습니다. 코드: https://github.com/Muhammad-Huzaifaa/WISE-ATTA

arXiv:2610.15846v1cs.CV공통 태그 Domain Adaptation, Unsupervised Domain Adaptation

이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응

Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement

자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.

arXiv:2610.15997v1cs.LG공통 태그 Image Classification, Knowledge Distillation

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

arXiv:2610.13697v1cs.CV공통 태그 Image Classification, Domain Adaptation

생성적 증강을 통한 AI 테스트 및 평가(T&E)의 의미적 커버리지 개선

Improving Semantic Coverage in AI Test & Evaluation through Generative Augmentation

AI 모델의 테스트 및 평가(T&E)에서 평가자는 일반적으로 홀드아웃(held-out) 테스트 데이터셋에만 접근할 수 있으며, 학습 데이터나 그 의미적 구성에 대한 정보는 알지 못한다. 시간대, 날씨, 장면 위치와 같은 핵심 입력 조건이 이 테스트 데이터셋에서 충분히 표현되지 않으면, 이러한 의미적 커버리지 격차로 인해 T&E 결과가 오도될 수 있다. 우리는 이러한 의미적 요인에 대한 정답 레이블 없이도 이를 탐지하고 채울 수 있는 3단계 생성형 AI 파이프라인을 제안한다. 첫 번째 단계에서는 비전-언어 모델(VLM)이 의미적 요인에 대해 제로샷 이진 레이블링을 수행하고, 임베딩 공간 클러스터링 단계를 통해 어떤 의미적 요인이 하위(downstream) 모델 동작에 가장 큰 영향을 미치는지 식별한다. 두 번째 단계에서는 디퓨전 기반 이미지-투-이미지(image-to-image) 모델이 기존에 충분히 표현된 이미지를 과소 표현된 의미 도메인으로 변환하여, 장면 내용은 보존하면서 고수준의 외형(appearance)만을 증강한다. 세 번째 단계에서는 증강된 이미지 임베딩에 대한 통계적 분석을 통해, 합성 이미지를 반영하기 전에 그것이 데이터셋 커버리지를 개선하는지 검증한다. 중요한 점은, 합성 데이터는 오직 테스트 세트를 보강하는 데에만 사용되며 T&E를 위한 모델 재학습은 수행하지 않는다는 것이다. 우리는 주간/야간 의미 격차 상황에서 이미지 분류와 객체 검출 양쪽에 대해 전체 파이프라인을 검증하였으며, 증강된 테스트 데이터셋이 누락된 의미적 요인에 노출된 모델과 그렇지 않은 모델을 더 잘 구별해내어, 완전히 커버리지를 갖춘 이상적인 데이터셋의 결론에 더 가까운 T&E 결론을 산출함을 보였다. 코드는 https://github.com/Hashe037/DEDUCE 에서 확인할 수 있다.

arXiv:2610.02431v1cs.LG공통 태그 Image Classification, Knowledge Distillation

CRISP: 절 재구성 기반 해석 가능한 신경기호 명제를 위한 프레임워크

CRISP: A Framework for Clause-Reconstructed Interpretable NeuroSymbolic Propositions

심층 신경망(neural network)은 계층화된 수치 변환을 통해 높은 정확도를 달성하지만, 결정 근거가 명시적 규칙이 아닌 은닉 활성화에 인코딩되어 있어 결정을 검증하기 어렵습니다. 본 논문에서는 이진 신경망 교사 모델의 마지막 층(layer) 활성화 벡터(LLAV)를 세틀린 머신(TM) 절(clause)로 재구성하는 프레임워크인 CRISP를 소개합니다. CRISP는 교사 모델의 마지막 직전 층 로짓(logit) 전 활성화를 부호 기준 이진화하고, 각 LLAV 뉴런에 개별 TM(ITM)을 하나씩 할당합니다. 재구성된 각 은닉 비트는 불리언화(Booleanized)된 입력 특성에 대한 명제 절로 표현되어, 명명된 입력 임계값에서 명명된 교사 뉴런까지의 직접적인 기호적 추적을 제공합니다. CRISP는 BinaryConnect 합성곱 신경망(BCCNN) 교사 모델과 완전 이진 신경망(BNN) 교사 모델을 사용하여 MNIST, KMNIST, FashionMNIST(FMNIST), SVHN, CIFAR10에서 평가되었으며, 다양한 비트 심도에서의 이진 임계값 처리, 서모미터 인코딩(thermometer encoding), 사분위수 비닝(quartile binning)에 대한 추가 연구도 수행되었습니다. 실험 결과에 따르면 테스트된 BNN 설정에서 LLAV 부호 이진화는 교사 헤드 정확도를 저하시키지 않는 반면, ITM 재구성 오차가 주된 제한 요인인 것으로 나타났습니다. 사분위수 1비트 불리언화는 SVHN에서 87.52%의 테스트 충실도로 가장 높은 재구성 충실도를 보였고 CIFAR10에서도 경쟁력 있는 성능을 보였으며, 재구성된 LLAV는 FMNIST에서 78.41%의 교사 헤드 정확도를 유지했습니다. 풀링된 절-근거 시각화는 학습된 ITM 리터럴(literal)이 중앙 집중형 벤치마크에서 객체 영역에 집중됨을 보여줍니다. 따라서 CRISP는 이진 신경망 교사 모델의 최종 은닉 표현을 검사할 수 있는 절 수준의 경로를 제공합니다.

arXiv:2610.02981v1cs.AI공통 태그 Domain Adaptation, Unsupervised Domain Adaptation

컷 통계량을 통한 소스-프리 도메인 적응에서의 상호 교정보호

Safeguarding Mutual Correction in Source-Free Domain Adaptation via Cut Statistics

소스-프리 도메인 적응(Source-Free Domain Adaptation, SFDA)은 원래의 소스 도메인에 접근하지 않고 소스 사전학습 모델을 라벨이 없는 타깃 도메인에 적응시키는 것을 목표로 합니다. 초기의 단일 모델 기반 접근법은 자체 개선(self-refinement)에 의존하지만, 본질적으로 확증 바이어스(confirmation bias)에 취약하며 자체적인 체계적 오류를 교정하는 데 어려움을 겪습니다. 이러한 한계를 극복하기 위해 최근 방법들은 비전-언어(Vision-Language, ViL) 모델을 외부 지식 원천으로 도입하고 있습니다. 그러나 이러한 접근법들은 주로 ViL 모델을 활용하여 소스 사전학습 모델을 감독하는 대체로 단방향적인 패러다임으로 작동합니다. 이는 두 모델이 서로 다른 실패 모드를 보인다는 주요 구조적 특성을 간과합니다. 즉, 한 모델이 잘못된 예측을 생성할 때 다른 모델은 올바른 예측을 생성할 수 있어, 타깃 도메인 내에서 자연스러운 상호 교정(mutual correction)의 기회가 형성됩니다. 하지만 정답(ground-truth) 라벨이 없으면 주어진 샘플에 대해 어떤 모델이 맞는지 식별하는 것은 간단하지 않으며, 단순하게 예측을 교환하는 것은 모델 간에 오류를 전파할 위험이 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 상호 모델 감독을 제어(gate)하기 위한 라벨-프리(label-free) 예측 신뢰도 척도로서 컷 통계량(cut statistic)을 활용하는 새로운 접근법인 SafeCut을 제안합니다. 제안하는 접근법은 상대적 신뢰도를 기반으로 감독의 방향과 강도를 모두 동적으로 제어하여, 샘플 단위로 잘못된 교정은 억제하면서 참된 교정을 선택적으로 증폭합니다. 나아가 이러한 신뢰도 기반 게이팅 메커니즘이 순-양수(net-positive)의 교정 신호를 보장함을 이론적으로 증명합니다. 다양한 SFDA 벤치마크에 걸친 광범위한 실험을 통해 SafeCut이 최고 수준의 성능(SOTA)을 달성함을 입증하며, 컷 통계량을 통해 SFDA에서 상호 교정을 보호하는 방법의 효과를 강조합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.