거의 모든 적대적 공격은 모델을 속이기 위해 인지할 수 없는 교란(perturbation)을 추가한다. 우리는 반대를 연구한다: 인간이 더 이상 이미지를 인식하지 못하더라도 모델이 원래의 올바른 예측을 유지하게 만드는 크고 명확히 보이는 교란이다. 이전 연구는 이러한 예제를 대규모로 생성할 수 있음을 보여주었지만 세 가지 질문을 검증하지 않았다: 인간이 실제로 모델보다 성능이 더 나쁜지, 표준 분포 밖(out-of-distribution, OOD) 탐지 및 보정(calibration) 도구가 이를 포착하는지, 기존 방어 기법이 이를 완화하는지. 우리는 MNIST, CIFAR-10, ImageNet에서 세 가지 모두에 답한다. (i) 독립적인 인식기 프록시는 CIFAR-10에서 ~49%까지 떨어지는 반면 모델은 100%를 유지한다 — 소규모 인간 파일럿(N=5)이 직접 뒷받침하는 격차이며, 신호 손실로는 설명되지 않는다(동일 크기의 가우시안 대조군이 인식 가능성을 더 빠르게 저하시킴); CLIP 제로샷 프록시도 ImageNet 규모에서 동일한 격차를 확인한다. (ii) 신뢰도 및 에너지 기반 OOD 탐지기와 보정은 구조적으로 탐지하지 못한다(탐지율 0%, ECE ~= 0). 반면 특징(feature) 공간 Mahalanobis 탐지기는 100%를 탐지하지만, 적응형 공격자가 성공률 손실 없이 이를 회피한다. (iii) 적대적 학습(adversarial training, robust accuracy 45%)을 포함한 어떤 고전적 방어 기법도 공격 성공률을 낮추지 않는다(large-epsilon_l 저항성과의 상관 r ~= 0). 기계론적 분석은 추가로 이 공격이 엣지/형태 구조보다 저수준 텍스처를 훨씬 빠르게 파괴함을 보여준다.
테스트 시점 적응형 분포 외(OOD) 탐지기는 라벨 없는 입력 스트림으로부터 메모리 뱅크를 갱신한다. 우리는 이 적응이 증명 가능한 동역학 법칙을 따름을 보인다. 뱅크 불순도를 일반화된 Pólya urn으로 모델링하여, 기울기가 재생산 수(reproduction number)로 작용하는 mean-field 균형으로 거의 확실(almost-sure) 수렴함을 증명한다. 1 미만이면 불순도는 무해하게 유지된다. 1을 초과하면 뱅크는 완전히 독화되고 탐지기는 붕괴한다. 측정된 admission 커널은 아핀(affine)($R^2 \ge 0.996$)이며 모든 인코더 계열에서 기울기가 1 바로 아래(프로토콜 시그니처)이므로, 이 탐지기 클래스는 설계상 near-critical이고, 96개 설정 전반에서 예측된 임계값이 경험적 붕괴와 일치하며, 게이트 없는 사전은 최대 $0.163$ AUROC를 잃는다. 이어서 frozen reserve만을 읽는 인증된 admission 게이트가 피드백 루프를 차단하고 모든 오염률에서—even 적대적(adversarial) 상황에서도—전이(transition)를 제거하면서 라벨 없이 false positive를 제어함을 증명한다. drift 하에서의 보완적 정적 보정 실패에 대해서는 CDC를 제시하며, 이는 테스트된 모든 drift 영향 셀에서 명목 FPR을 라벨 없이 복원한다. 마지막으로 two-world 불가능성 정리를 증명한다. drift와 오염(contamination)은 라벨 없이는 구별 불가능하며, 이는 우리 절차가 접근하는 폐형식 power 상한을 강제한다. 이들은 함께 라벨 없는 적응형 OOD 탐지의 완전한 가능/불가능 특성화를 제공한다.
신뢰할 수 있는 강화학습(RL) 에이전트는 센서 고장, 동적 외란, 완만한 환경 변화 속에서도 운용 무결성을 유지해야 한다. 분포 외(out-of-distribution, OOD) 조건의 탐지는 에이전트의 관측, 전이, 또는 궤적 역학이 정책 학습을 뒷받침하는 가정에서 벗어나는 시점을 판별하는 데 핵심적이다. 현재의 분포 외(OOD) 탐지 벤치마크는 일반적으로 이미지 분류기 또는 정적 저차원 데이터셋을 평가하며, RL 궤적에 내재된 복잡하고 행동 의존적인 시간적 구조를 반영하지 못한다. 이 공백을 해소하기 위해, RL 궤적에 주입된 이상(anomaly) 카테고리에 대해 OOD 탐지기를 평가하도록 설계된 포괄적이고 확장 가능한 프레임워크인 OOD-RL-Bench를 제시한다. 탐지기와 이상 주입기는 공유 인터페이스 및 설정을 통해 통합되며, 이를 통해 핵심 벤치마크 루프를 수정하지 않고도 새로운 점수화 방법과 섭동(perturbation) 계열을 평가할 수 있다. 우리는 LunarLander-v3 환경 내 심층 Q 네트워크 정책을 사용하여 프레임워크의 유용성을 평가한다. 각 탐지기의 성능을 다양한 이상 유형에 대해 matched-time AUROC, matched-time AUPRC, matched-time 거짓 양성률, 탐지 지연, segmented-onset 지표를 사용하여 평가한다. 분석 결과, 이상 유형에 따라 성능 편차가 크다는 것이 드러난다: 관측 섭동과 체제 전환(regime switch)은 여러 방법에서 높은 정확도로 식별되지만, 관측 지연과 행동 조건부 역학(action-conditioned dynamics)은 동일 타임스텝의 깨끗한 점수와 이상 발생 후 점수를 비교해도 여전히 어렵다. 프레임워크, 학습된 정책 체크포인트, 전체 결과를 재현 가능한 산출물로 공개한다.
분포 외(OOD) 샘플의 신뢰할 수 있는 탐지는 머신러닝 모델의 안전한 배포에 매우 중요하다. 신경망은 학습 데이터와 벗어난 입력에 대해 종종 과도하게 확신하는 예측을 생성하여 성능이 크게 저하된다. 많은 OOD 탐지 방법이 최종 출력 층에만 초점을 맞추는 반면, 중간 네트워크 층에 존재하는 풍부한 계층적 정보는 간과한다. 본 논문은 이러한 중간 활성화로부터 해석 가능한 특징을 학습하기 위해 희소 오토인코더(SAE)를 활용하는 새로운 접근법을 제안한다. 분포 내(ID) 데이터와 OOD 데이터가 이러한 희소 특징의 서로 다른 집합을 활성화함을 발견했다. 테스트 샘플의 희소 특징 활성화와 ID 클래스의 평균 활성화 사이의 코사인 유사도로부터 도출된 새로운 OOD 점수를 제안한다. 우리의 사후(post-hoc) 탐지 방법은 표준 OOD 탐지 벤치마크에서 최첨단 성능을 달성할 뿐만 아니라, 분포 이동(distribution shift)이 학습된 표현에 미치는 영향에 대한 해석 가능한 통찰을 제공한다.
분포 외(Out-of-Distribution, OoD) 탐지는 심층 신경망의 신뢰성에 필수적이며, 그 핵심은 OoD 데이터와 분포 내(In-Distribution, InD) 데이터 간의 차이를 효과적으로 특성화하는 데 있다. 본 연구에서는 이러한 차이를 비선형 특징 부분공간이라는 새로운 관점을 통해 활용한다. 즉, InD 특징으로부터 판별적 비선형 부분공간을 학습하여 InD의 대표적 패턴을 포착하는 한편, OoD 특징에 담긴 정보적 패턴은 서로 다른 분포로 인해 이러한 부분공간에서 잘 포착되지 못한다. 이 관점에 기반하여, InD와 OoD 특징이 비선형 부분공간에서 보이는 편차를 OoD 탐지에 활용한다. 구체적으로, 커널 주성분 분석(Kernel Principal Component Analysis, KPCA) 프레임워크를 활용하여 판별적 비선형 부분공간을 얻고, 해당 부분공간에서의 재구성 오차를 이용해 InD와 OoD 데이터를 구별한다. 두 가지 과제가 제기된다: (i) 효과적인 비선형 부분공간의 학습, 즉 KPCA에서의 커널 함수 선택, 및 (ii) 대규모 InD 데이터에 대한 커널 행렬 계산. 전자에 대해, InD-OoD 차이와 밀접하게 관련된 두 가지 중요한 비선형 패턴을 밝히고, 이를 바탕으로 부분공간 구성을 위한 코사인-가우시안 커널을 수립한다. 후자에 대해, 코사인-가우시안 커널을 현저히 저렴한 계산으로 근사하는 두 가지 기법을 도입한다. 특히, 우리의 근사는 InD 데이터 신뢰도를 통합하여 추가로 맞춤화되며, 이는 OoD 데이터에 대한 판별적 부분공간 학습을 촉진하는 것으로 입증된다. 본 연구는 OoD 탐지를 위한 비선형 특징 부분공간에 대한 새로운 통찰을 제시하고, 관련 커널 설계 및 효율적 계산에 대한 실용적 탐구를 기여하며, 뚜렷이 향상된 효과와 효율성을 갖는 KPCA 탐지 방법을 제공한다.
분포 외(Out-of-Distribution, OoD) 탐지는 주어진 샘플이 보호 대상 분류기의 학습 분포, 즉 분포 내(In-Distribution, InD)에서 온 것인지, 아니면 알려지지 않은 외부 분포에서 온 것인지 판별하는 것을 목표로 한다. 최근 연구들은 강력한 분포 모델링 능력 때문에 확산 모델(DM)을 OoD 탐지에 활용해 왔다. 입력 이미지가 주어지면 InD로 사전학습된 DM은 이에 대응하는 InD 정렬된 대응물을 생성하며, 이는 비교를 위한 생성적 기준(reference)로 작용한다. 그러나 기존 DM 기반 방법들은 일반적으로 이 근본적인 불일치를 원시 이미지 공간에서의 시각 수준 거리를 통해 평가하며, 이는 OoD 탐지와 관련된 분포적 불일치와 어긋날 수 있다.
본 연구에서는 DM 기반 OoD 탐지에서 불일치 평가의 기초를 조사하며, 입력과 DM이 생성한 대응물 사이의 불일치를 어떻게 정식화해야 하는지, 그리고 어떤 표현 공간에서 어떤 지표로 측정해야 하는지를 탐구한다. 이를 위해 보호 대상 분류기의 표현 공간을 활용하여 불일치를 분류기 상대적(classifier-relative) 방식으로 평가하는 방법을 제안한다. 이 분류기는 InD 데이터에 대한 학습을 통해 풍부한 과업 관련 InD 지식을 인코딩한다. 구체적으로, 심층 특징 표현에서의 특징 수준 공변량 불일치(feature-level covariate discrepancy)와 출력 로짓에서의 로짓 수준 개념 불일치(logit-level concept discrepancy)라는 두 가지 불일치 유형을 정량화하여 InD와 OoD 샘플 간 효과적인 구별을 가능하게 한다. 더불어, 불일치 평가를 촉진하기 위해 DM 생성물의 표현을 정제하는 부분공간(subspace) 기반 전략을 고안한다. 이러한 설계들을 종합하여 DDR이라는 새로운 탐지 프레임워크를 구성한다. 어려운 대규모 ImageNet-1K 데이터셋에 대한 광범위한 실험을 통해 DDR이 DM 기반 및 비-DM 기반 방법 모두 대비 우수한 탐지 성능을 보임을 입증한다.
기반 모델(foundation model)은 의료 영상에 대해 매우 풍부한 표현을 제공하지만, 환자, 기기 또는 촬영 조건의 변화로 인한 분포 이동(distribution shift) 하에서는 신뢰성이 저하된다. 따라서 안전한 배포를 위해 신뢰할 수 있는 분포 외(OOD) 탐지가 필수적이다. 최근 사후(post-hoc) 탐지기는 동결된 임베딩(frozen embedding)(예: kNN)을 효율적으로 활용하는 반면, 잠재 특징 공간에서의 재구성 기반 OOD 탐지는 성능이 불안정하여 채택이 제한적이다. 본 연구에서는 잠재 공간에서 재구성 기반 방법의 한계가 재구성 품질 부족에서 비롯된 것이 아니라 재구성 오류를 점수화하는 방식에서 비롯됨을 보인다. 표준 L2 잔차 노름은 이방성(anisotropic) 잔차 구조를 붕괴시켜 정보가 풍부한 편차를 억압한다. 이 한계를 해결하기 위해, 경량 오토인코더를 사용해 분포 내(in-distribution) 매니폴드(manifold)를 학습하고 재구성 잔차에 대한 Mahalanobis 거리로 편차를 측정하여 분산 인식(variance-aware) OOD 점수를 산출하는 라벨 없는(label-free) OOD 탐지기인 MaRS(Mahalanobis Residual Scoring)를 제안한다. 세 가지 영상 모달리티, 다양한 유형의 분포 이동, 서로 다른 모델(model) 계열 및 규모에 걸쳐 MaRS는 확립된 신뢰도 기반, 거리 기반, 재구성 기반 기준선(baseline)들을 능가하며, 완전히 사후 방식이면서도 경량으로 유지된다. 코드는 https://github.com/francescodisalvo05/mars에서 이용할 수 있다.
NegAS는 비전-언어 모델(VLM) 기반 객체 검출기에서 분포 외(OOD) 검출을 처음으로 다루는 프레임워크로, LLM이 생성한 시각적으로 유사하지만 의미적으로 다른 부정 레이블을 활용하는 어텐션 모듈(NegA)과 시그모이드 기반 OOD 스코어링 함수(NegS)로 구성된다. YOLO-World와 Grounding DINO에 적용한 실험에서 기준 모델 대비 COCO 데이터셋 FPR95 11.4%, OpenImages 데이터셋 25.5% 감소를 달성하며 ID 정확도를 유지한 채 OOD 검출 성능을 크게 향상시켰다.
행동 인식 모델에 추가 모달리티를 통합하면 다양한 환경에서 성능이 향상된다. 그러나 이러한 추가 정보가 모델을 더 강건하게 만드는 데 기여할 수 있는 방법은 충분히 탐구되지 않았으며, 특히 다중 모달 분포 외(OOD) 탐지의 경우에는 더욱 그러하다. OOD 탐지를 염두에 두고 다중 모달 학습 과정을 정규화하는 방법들이 존재하지만, 이들은 추론 시 단일 모달 경우를 위해 설계된 기성 OOD 탐지기를 여전히 그대로 적용하여 중요한 정보를 버린다. 다중 모달 예측과 단일 모달 예측 사이에서 발견한 흥미로운 관계를 바탕으로, 우리는 이 신호를 활용하여 다중 모달 시나리오를 위해 명시적으로 설계된 사후(post-hoc) 탐지기를 구축할 것을 제안한다. 우리는 이 새로운 정보 원천을 다중 모달 공간에서 매니폴드 외 샘플을 탐지하는 특징 공간 점수와 결합하고, 이를 다중 모달 로짓으로 정규화한다. 이를 통해 제안된 하이브리드 탐지기는 기존 학습 시 접근법과 호환 가능하며 일관되게 성능을 향상시킨다. MultiOOD 벤치마크의 광범위한 기존 데이터셋에 대한 실험에서 평균적으로 우리의 접근법이 최신 기술 수준을 능가함을 보인다. 우리의 결과는 다중 모달 OOD 탐지를 위해 추론 시 서로 다른 모달리티를 명시적으로 고려하는 것의 중요성을 보여준다.
분포 외(OOD) 탐지는 심층 학습 모델의 신뢰성을 보장하는 데 중요합니다. 기존 방법들은 주로 분포 내(ID) 데이터와 OOD 데이터를 구별하기 위해 일반적인 얽힌 표현에 집중하며, 이미지 내의 풍부한 문맥 정보를 간과합니다. 이 문제는 근접 OOD를 탐지할 때 특히 어렵습니다. 단순성 바이어스가 있는 모델은 분리된 표현에서 식별 가능한 특징을 학습하는 데 어려움을 겪기 때문입니다. 인간 시각 시스템은 자연 환경에서 객체의 동시 출현을 활용하여 장면 이해를 돕습니다. 이에 영감을 받아, 우리는 이미지 내의 객체 동시 출현(OCO) 패턴을 포착하도록 학습하는 객체 중심 OOD 탐지 프레임워크를 제안합니다. 제안된 방법은 테스트 샘플에 대해 분리된 표현을 예측하여 이미지 내의 객체 동시 출현을 이해하고, ID 학습 데이터에서 관찰된 객체 동시 출현 패턴을 기반으로 패턴을 세 가지 시나리오로 적응적으로 나눈 다음, 분할 정복 방식으로 OOD 탐지를 수행하는 새로운 OOD 탐지 패러다임을 도입합니다. 이를 통해 OCO는 이미지에 존재하는 의미적 문맥 관계를 고려하여 근접 OOD를 구별할 수 있으며, 단순하고 학습하기 쉬운 영역에만 집중하는 경향을 피할 수 있습니다. 우리는 도전적이고 전체 스펙트럼의 OOD 설정에 걸친 실험을 통해 OCO를 평가했으며, 경쟁력 있는 결과를 보여주고 의미적 시프트와 공변량 시프트를 모두 해결할 수 있는 능력을 확인했습니다. 코드는 https://github.com/Michael-McQueen/OCO에서 공개됩니다.
우리는 GP-Adapter를 제안한다. 이는 퓨샷 분류 및 분포 외(OOD) 탐지를 위해 CLIP(대조적 언어-이미지 사전학습)에 가우시안 프로세스(GP) 불확실성 모델링을 결합한 학습 불필요(training-free) 프레임워크이다. CLIP은 강력한 제로샷 인식 성능을 달성하지만, 결정론적 유사도 점수를 출력하며 분포 변화와 데이터 부족 상황에서 중요한 불확실성 정보를 충분히 제공하지 못한다. GP-Adapter는 동결된 CLIP 임베딩 위에 이미지 특징에는 RBF 커널을, 텍스트 프롬프트에는 선형 커널을 사용하는 모달리티별·클래스별 단일 클래스 GP를 구성하고, 이들의 예측 통계량을 융합하여 OOD 탐지를 위한 분산 인식 신뢰도 점수를 생성한다. 본 방법은 CLIP 백본의 미세조정이 필요 없으며, 소규모 $K$-샷 캐시와 경량 하이퍼파라미터 선택만을 활용한다. 메모리 비용은 $C$개 클래스와 $K$-샷에 대해 $O(CK^2)$로 스케일링된다. ImageNet 및 다수의 OOD 벤치마크에서의 실험 결과, GP-Adapter는 경쟁력 있는 퓨샷 성능을 제공하며 프롬프트 학습 기반 모델과 결합 시 OOD 탐지를 일관되게 향상시킴을 보였다. 이는 GP 기반 불확실성 모델링과 프롬프트 학습 간의 상호 보완성을 부각한다. 전반적으로, 본 결과는 대규모 사전학습된 비전-언어 모델에 확률적 추론을 통합하면 저데이터 및 분포 변화 환경에서 신뢰성을 향상시킬 수 있음을 시사한다. 코드는 https://github.com/tms-byte/GP-Adapter 에서 확인할 수 있다.