그래디언트 없는 적응: 아핀 통계량 수송 및 보증서가 알려줄 수 있는 것
Adapting Without Gradients: Affine Statistics Transport and What Its Certificate Can Tell You
한국어 초록
테스트 시점 적응(TTA)은 일반적으로 추론 시점에 모델 파라미터를 업데이트할 수 있다고 가정합니다. 이러한 가정은 추론 전용 가속기, 동결(frozen)되었거나 서드파티 모델, 메모리가 제약된 배포 환경에 제한적이며, 표준 배치 정규화(BatchNorm) 기반 TTA 구성은 BatchNorm이 없는 아키텍처에서 비활성화될 수도 있습니다. 본 연구에서는 학습된 모델이 반드시 동결된 상태를 유지해야 하는 환경에서의 적응을 다룹니다. 우리는 식별 부분공간(discriminative subspace)에 소스 클래스 통계량을 저장하고, 타깃 배치 모멘트로부터 클래스 공유 아핀 변환(affine transformation)을 추정한 뒤, 분류 전에 소스 클래스 분포를 해석적으로 수송하는 무그래디언트(gradient-free) 방법인 CASTER를 제안합니다. CASTER는 역전파(backward pass), 옵티마이저 상태, 저장된 소스 특징 뱅크(feature bank)를 전혀 필요로 하지 않습니다. 4개의 백본과 7개의 데이터셋에 걸쳐, 동일한 동결 특징에 대한 k-NN과 비교했을 때 28개 백본-데이터셋 설정 중 27개에서 우수한 성능을 보였으며, 유지하는 상태 크기는 중앙값 기준 18배 더 적었습니다. 아핀 수송이 항상 신뢰할 수 있는 것은 아닙니다. 1,000개 클래스에 대해 배치가 64개 샘플만을 포함하는 ImageNet-C에서 무조건적 수송은 top-1 점수가 21.2포인트 하락합니다. 이에 따라 우리는 실증적인 잔차 대 마진(residual-to-margin) 수송 가능성 보증서(certificate)를 제안합니다. 307개 평가 셀 전반에서 10포인트 이상 손실되는 모든 수송은 보증서 값이 3.9를 초과했으나, 유익한 구간과 파괴적인 구간이 완벽하게 분리되지는 않았습니다. 게이팅(gating)을 적용하면 무조건적 수송의 평균 -3.35포인트 효과가 +1.69포인트의 이득으로 전환되며, 넓은 임계값 범위에 걸쳐 성능이 최적 임계값의 0.3포인트 이내로 유지됩니다. 마지막으로, 우리는 이 보증서가 메커니즘에 특화되어 있음을 보입니다. Tent에 적용했을 때 업데이트의 4.3%만 수락하여 Tent가 얻을 수 있는 이득의 0.6%만을 보존했습니다. 이러한 결과는 CASTER가 동결된 모델 배포를 위한 경량 적응 메커니즘으로 자리매김하도록 하며, 안전성 신호가 유익한 시점과 그렇지 않은 시점에 대한 명시적인 설명을 함께 제공합니다.
원문 초록
Test-time adaptation (TTA) typically assumes that model parameters can be updated at inference time. This assumption is restrictive for inference-only accelerators, frozen or third-party models, and memory-constrained deployments, and standard BatchNorm-based TTA configurations may also become inactive on architectures without BatchNorm. We study adaptation when the learned model must remain frozen. We introduce CASTER, a gradient-free method that stores source class statistics in a discriminative subspace, estimates a class-shared affine transformation from target-batch moments, and analytically transports the source class distributions before classification. CASTER requires no backward pass, optimizer state, or stored source feature bank. Across four backbones and seven datasets, it outperforms k-NN on identical frozen features in 27 of 28 backbone-dataset settings while retaining a median of 18x less state. Affine transport is not always reliable. On ImageNet-C, where batches contain only 64 samples for 1000 classes, unconditional transport loses 21.2 top-1 points. We therefore introduce an empirical residual-to-margin transportability certificate. Across 307 evaluation cells, every transport losing more than 10 points has certificate value above 3.9, although benign and destructive regimes are not perfectly separated. Gating converts an average $-3.35$-point effect of unconditional transport into a +1.69-point gain, and performance remains within 0.3 points of the best threshold over a broad threshold range. Finally, we show that this certificate is mechanism-specific: when applied to Tent, it accepts only $4.3\%$ of updates and preserves 0.6% of Tent's available gain. These results position CASTER as a lightweight adaptation mechanism for frozen-model deployment, together with an explicit account of when its safety signal is informative and when it is not.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00374v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.