A Survey on Assessing the Generalization Envelope of Deep Neural Networks: Predictive Uncertainty, Out-of-distribution and Adversarial Samples
원문 초록
Deep Neural Networks (DNNs) achieve state-of-the-art performance on numerous applications. However, it is difficult to tell beforehand if a DNN receiving an input will deliver the correct output since their decision criteria are usually nontransparent. A DNN delivers the correct output if the input is within the area enclosed by its generalization envelope. In this case, the information contained in the input sample is processed reasonably by the network. It is of large practical importance to assess at inference time if a DNN generalizes correctly. Currently, the approaches to achieve this goal are investigated in different problem set-ups rather independently from one another, leading to three main research and literature fields: predictive uncertainty, out-of-distribution detection and adversarial example detection. This survey connects the three fields within the larger framework of investigating the generalization performance of machine learning methods and in particular DNNs. We underline the common ground, point at the most promising approaches and give a structured overview of the methods that provide at inference time means to establish if the current input is within the generalization envelope of a DNN.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
노이즈로부터 학습: 제한 볼츠만 머신에서의 유효 랭크 붕괴와 분포 외 입력 거부
Learning from Noise: Effective-Rank Collapse and Out-of-Distribution Rejection in Restricted Boltzmann Machines
제한 볼츠만 머신(RBM)은 가시 및 은닉 구성에 대한 에너지 경관을 형성하여 데이터를 표현하지만, 분포 외(OOD) 입력에 대한 판별적 사용은 취약하다: 학습 분포 밖의 샘플이 거부되지 않고 학습된 클래스 분지 중 하나로 흡수될 수 있다. 본 연구에서는 가시-은닉 가중치 행렬 $W$로부터 유도되는 가시-가시 상호작용 $J=WW^{T}$의 스펙트럼을 통해 이 실패 양상을 분석한다. 마르첸코-파스투르(Marchenko-Pastur) 랜덤 행렬 기준과 비교할 때, 일반적인 학습은 스펙트럼 가중치를 약하고 벌크 호환적인 다수의 방향으로 분산시켜 $J$의 유효 랭크를 증가시킨다. 학습 중 보조 랜덤 이진 이미지를 거부 레이블에 할당하면, 학습된 상호작용은 유효 랭크 붕괴를 겪는다: 약한 벌크 유사 모드가 감소하고 스펙트럼 가중치가 더 적은 수의 지배적 고유 방향으로 집중되며, $J$의 유효 랭크가 경험적 데이터 공분산 행렬의 유효 랭크에 근접한다. 결과적으로 구성된 RBM은 MNIST 분류 정확도를 유지하면서 구조화된 OOD 이미지 데이터셋을 거부하며, 이는 랜덤 보조 노출이 에너지 기반 분류기의 상호작용 스펙트럼과 자유 에너지 경관 모두를 재형성할 수 있음을 보여준다.
적대적 미끼: ViT의 어텐션 기반 방어를 오도하기
Adversarial Decoys: Misdirecting Attention-Based Defenses in ViT
데이터셋 이동 하에서 갑상선 결절 초음파 분류를 위한 딥 앙상블 기반 보정된 선택적 예측
Calibrated selective prediction using deep ensembles for thyroid nodule ultrasound classification under dataset shift
배경: 딥러닝은 초음파에서 갑상선 결절을 분류할 수 있으나, 판별 성능만으로는 임상적 신뢰성이 확립되지 않는다. 우리는 불확실성 인지 선택적 예측과 보수적인 영상 기반 선별을 갖춘 보정된 딥 앙상블 프레임워크를 개발하였다. 방법: 3겹 내부 아키텍처 선택을 포함한 중첩 5겹 교차 검증으로 squeeze-and-excitation 블록을 갖춘 ConvNeXt-Tiny를 선택하였고, 이를 이용해 결정론적 5개 구성원 앙상블을 구축하였다. 각 폴드 내에서 학습, 조기 종료, 보정, 임계값 부분집합을 분리하였으며, 외부 테스트 데이터는 격리된 상태로 유지하였다. 상호 정보량(MI), 예측 분산, 최대 소프트맥스 확률(MSP) 불확실성을 위험-커버리지 및 선별 분석과, 가정한 악성 유병률 5%-70%에 걸친 예측값으로 비교하였다. 고정된 TN5000 앙상블을 재보정 없이 TN3K에 적용하였다. 결과: TN5000에서 풀링된 out-of-fold AUC-ROC는 0.9377, 평균 정밀도는 0.9708, 기대 보정 오차는 0.0138, Brier 점수는 0.0827이었다. MI 기반 주 정책에서 영상의 8.86%가 No-FNA 제안을, 60.00%가 FNA 권고를, 31.14%가 영상의학과 의사 검토를 받았으며, 악성 영상 3574건 중 14건(0.39%)이 No-FNA, 708건(19.81%)이 검토를 받았다. 예측 분산과 MSP가 MI보다 오류를 더 잘 순위화하였고(AURC, AUGRC), 모든 선별 결과를 최적화한 척도는 없었다. 유병률 5%-70% 전반에서 NPV는 99.95%-97.93%, PPV는 29.28%-94.75%였다. TN3K에서 AUC-ROC는 0.7870, 평균 정밀도는 0.7254, 기대 보정 오차는 0.1899, 영상의학과 의사 검토율은 83.7%였다. 결론: 앙상블은 내부적으로 강한 판별 및 보정 성능을 보였으나 TN3K에서는 성능이 크게 저하되어, 데이터셋 이동 하에서 이식성이 제한적임을 나타냈다. 임상 사용 전에 다기관 검증, 기관별 재보정, 임계값 검증, 전향적 평가가 필요하다.
FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합
FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology
병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.
공정한 자기지도 학습을 위한 편향 없는 Open World 정규화
Unbiased Open World Regularization for Fair Self-Supervised Learning
최근의 발전에도 불구하고 자기지도 학습(SSL) 모델과 결합 임베딩 예측 아키텍처(JEPA)는 여전히 허위 상관관계에 취약하다. 많은 붕괴 방지 정규화 기법은 전역 표현 분포가 다변량 가우시안이나 구면 위의 균등분포와 같이 미리 정해진 목표 분포와 일치하도록 제약한다. 그러나 전역 분포 일치는 편향 속성으로 정의되는 집단들이 표현 공간의 서로 다른 영역을 차지하는 것을 막지 못한다. 본 논문은 EnD와 FSCL을 포함한 기존의 인코더 기반 편향 제거 정규화 기법이 조건부 분포 일치의 제한된 형태로 해석될 수 있음을 보인다. 이러한 해석을 바탕으로, 관측된 각 편향 집단 내부의 표현 분포를 공통의 목표 분포에 일치시키는 Unbiased Open World(UOW)를 제안한다. 모집단 최적해에서 판별적 조건부 불일치도를 사용하면 표현과 대상 속성 사이의 독립성이 보장된다. 우리는 UOW를 가우시안 공간과 구면 공간에서 구현하고, 통제된 합성 환경과 실제 공정성 벤치마크에서 평가한다. Synthetic Engraving, Colored MNIST, CelebA, Waterbirds 전반에서 조건부 일치는 유용한 하위 작업용 표현을 보존하면서도 전역 정규화에 비해 편향을 크게 줄인다. 여러 편향 속성을 함께 조건화하면 개별 주변 제약으로는 놓치는 교차적 격차도 추가로 줄어든다. 마지막으로 CelebA 실험은 공정성을 고려한 검증 기준에 따라 체크포인트를 선택한다면 UOW를 사전학습 목적함수로 사용하여 무작위 초기화에서부터 모델을 학습할 수 있음을 보여준다.
WISE-ATTA: 예산 제약이 있는 능동적 테스트 타임 적응에서 레이블을 요청해야 하는 시점
WISE-ATTA: When to Ask for Labels in Budgeted Active Test-Time Adaptation
능동적 테스트 타임 적응(Active Test-Time Adaptation, ATTA)은 감독(supervision) 정보를 선택적으로 요청하면서 추론(inference) 중에 배포된 모델을 업데이트함으로써 분포 변화(distribution shift) 하에서의 강건성을 향상시킵니다. 그러나 대부분의 기존 ATTA 방식은 들어오는 모든 테스트 배치(batch)에 대해 감독을 요청할 수 있다고 암묵적으로 가정하므로, 긴 테스트 스트림에 걸쳐 상당한 라벨링 비용이 발생할 수 있습니다. 본 연구에서는 테스트 배치의 일부에 대해서만 레이블을 사용할 수 있는 예산 제약 기반의 ATTA(budgeted ATTA)를 소개합니다. 이러한 정형화는 핵심 과제를 배치 내에서 무엇에 레이블을 지정할지 결정하는 문제에서 시간에 따라 언제 감독을 적용해야 하는지 결정하는 문제로 전환합니다. 이 문제를 해결하기 위해, 온라인으로 계산되는 경량 신호에 기반하여 테스트 스트림 전체에 걸쳐 감독을 할당하고 감독이 가장 유용할 것으로 예상되는 시점을 우선시하는 예산 인식 접근 방식인 WISE-ATTA를 제안합니다. 감독 대상 배치가 선택되면, 지속적이고 아직 수렴되지 않은 적응 역학을 보이는 샘플을 목표로 하는 드리프트 기반 샘플 선택 기준을 추가로 적용하여 단 하나의 레이블된 예시로도 효과적인 업데이트를 가능하게 합니다. 우리는 합성 손상(ImageNet-C) 및 자연 분포 변화(ImageNet-R/K/A) 환경에서 이 접근 방식을 평가합니다. 다양한 설정 전반에 걸쳐 WISE-ATTA는 훨씬 적은 레이블을 사용하면서도 최신 ATTA 방식과 비교해 경쟁력 있거나 향상된 성능을 달성합니다. 전반적으로 우리는 감독의 타이밍이 능동적 테스트 타임 적응에서 핵심적이면서도 아직 충분히 탐구되지 않은 측면임을 확인했습니다. 코드: https://github.com/Muhammad-Huzaifaa/WISE-ATTA
토론
이 논문과 연결된 포럼 글이 아직 없습니다.