Uncertainty quantification in neural network classifiers -- a local linear approach
원문 초록
Classifiers based on neural networks (NN) often lack a measure of uncertainty in the predicted class. We propose a method to estimate the probability mass function (PMF) of the different classes, as well as the covariance of the estimated PMF. First, a local linear approach is used during the training phase to recursively compute the covariance of the parameters in the NN. Secondly, in the classification phase another local linear approach is used to propagate the covariance of the learned NN parameters to the uncertainty in the output of the last layer of the NN. This allows for an efficient Monte Carlo (MC) approach for: (i) estimating the PMF; (ii) calculating the covariance of the estimated PMF; and (iii) proper risk assessment and fusion of multiple classifiers. Two classical image classification tasks, i.e., MNIST, and CFAR10, are used to demonstrate the efficiency the proposed method.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
CalCErt: 의료 이미지 분류에서 신뢰도 보정의 구간별 인증
CalCErt: Bin-wise Certification of Confidence Calibration in Medical Image Classification
심층 신경망은 적대적 섭동(adversarial perturbation)에 여전히 취약하며, 이는 예측뿐만 아니라 신뢰도 점수(confidence score)까지 왜곡하여 불확실성 보정(uncertainty calibration)을 저해할 수 있습니다. 기존의 인증 방법들은 예측된 범주를 보존하는 데 초점을 맞추고 있는 반면, 적대적 공격 하에서 보정이 어떻게 작동하는지에 대한 보장을 제공하는 것은 여전히 간과되어 왔습니다. 본 연구에서는 사전학습된 모든 미분 가능한 분류기를 대상으로 구간별(bin-wise) 신뢰도 보정을 인증하는 간단하고 효율적인 사후(post-hoc) 전략인 CalCErt를 소개합니다. 우리의 접근 방식은 경험적 보정 추정치, 통계적 집중 한계(concentration bound), 그리고 신뢰도 함수의 국소 립시츠(Lipschitz) 추정치를 결합하여 반지름 R의 $ell_2$-볼 내에서 최악의 경우에 대한 오보정(miscalibration)의 데이터 의존적 상한을 도출합니다. 11개의 의료 이미지 분류 작업과 다양한 적대적 섭동에 걸쳐 CalCErt를 평가한 결과, 경쟁력 있는 긴밀도(tightness)를 유지하면서도 기준선 전략보다 실질적으로 더 높은 인증 적용 범위(certified coverage)를 보임을 입증합니다. 우리의 코드는 https://github.com/leofillioux/calcert 에서 확인할 수 있습니다.
어텐션 잔차 트랜스포머에서 불확실성 신호로서의 라우팅 엔트로피 감사
Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers
동적 아키텍처는 각 예측과 함께 예제별 라우팅 추적(routing trace)을 남기며, 분산된 라우팅은 예측을 신뢰하기 어렵다는 신호로 해석하기 쉽습니다. 본 연구에서는 소프트 빈 보정 보조 손실(soft-binned calibration auxiliary loss)을 적용하여 CIFAR-10/100에서 처음부터 학습(training)된 Swin-Tiny 및 DeiT-Small의 어텐션(attention) 잔차(Attention-Residual, AR) 변형 모델(model)들을 대상으로 라우팅 엔트로피에 대한 이러한 해석을 감사(audit)하며, 해당 추적이 모델 자체의 신뢰도(confidence)가 이미 드러내는 것 이상으로 정확도에 관한 정보를 전달하는지 질문합니다. 세 가지 점검을 통해 이러한 증가분을 탐색합니다. 고정된 신뢰도에서 라우팅 신호가 나타나는지, 학습 시드 전반에 걸쳐 재현되는지, 그리고 홀드아웃 예측기가 출력 전용 및 셔플된 추적 대조군에 대항하여 이를 활용할 수 있는지를 확인합니다. 이후 민감도 감사는 알려진 크기의 효과를 주입하고 탐침(probe)들이 각각의 얼마만큼의 비율을 회복하는지 측정합니다. 고정된 30개 테스트로 구성된 구간화(binned) 패밀리에서 다중성 보정(multiplicity correction)을 거쳐 살아남은 테스트는 없었으며, 명목상 적중이나 경계선상의 결과 모두 형제 시드에서 다시 발생하지 않았습니다. 24개의 쌍을 이룬 실행 전반에 걸쳐 스칼라 라우팅 탐침은 라우팅 계층화 보정에서 풀링된 개선을 가져오지 못했고, 엔트로피 프로파일 탐침은 셔플된 프로파일이 주어진 동일 탐침보다는 정확도를 더 잘 예측했으나 이진 로그 손실(binary log-loss)과 브라이어 점수(Brier score) 모두에서 신뢰도 전용 예측기보다는 성능이 떨어졌습니다. 즉, 셔플된 추적 대비 이득이 출력 대비 이득으로 이어지지는 않았습니다. 전체 로짓(logit) 벡터에 대한 조건화는 해당 비교를 미해결 상태로 남깁니다. 감사는 이러한 비검출(non-detection) 결과가 어느 수준까지 해석될 수 있는지 한계를 정합니다. 0.010 nats의 주입된 효과에서 프로파일 탐침은 오라클 이득의 24~59%를 회복하며, 참조 보존 보정 탐침은 두 가지 CIFAR-100 환경에서 각각 8% 및 23%를 회복하여 실제 레이블에 적용하기 위해 설정한 임계값에 미치지 못했습니다. 본 결과는 조건부 라우팅 정보의 부재가 아니라, 대조군에 따른 이득과 추정량 회복의 불완전성을 입증합니다.
CORE-STACK+: 심층 스택 일반화를 위한 메타 학습
CORE-STACK+: Meta-Learning for Deep Stacked Generalization
이질적인 비전 백본(CNN, ViT, 하이브리드)을 스택하는 것은 정확도, 보정(calibration), 견고성을 위한 사실상의 표준이지만, 서로 맞물린 두 가지 병리가 그 이득을 제한한다. 예측 공간 다중공선성(prediction-space multicollinearity)은 메타 학습기의 Gram 행렬 조건을 악화시켜 가중치 분산을 키우고, 얇은 매니폴드 위에서 취약한 해법을 만든다. 보정 붕괴(calibration collapse)는 단순 선형 스택을 통해 구성 모델의 miscalibration을 누적 증폭하므로, 모델을 더 추가하면 기대 보정 오차(ECE)가 나빠질 수 있다. 기존 대안인 릿지 정규화, 탐욕적 선택, model soups, SWAG는 이 문제들 중 최대 하나만 다루며, 이질적 예측 풀에서 conditioning과 calibration을 동시에 겨냥하는 방법은 없다. 우리는 CORE-STACK+를 제안한다. 네 가지 구성 요소를 갖는 사전조건화(preconditioning) 파이프라인으로, (i) Pearson 상관으로는 보이지 않는 비선형 모델 간 의존을 제거하는 커널화 중복 필터(Centered Kernel Alignment, CKA [23] 사용), (ii) 앙상블 통계에 대한 샘플별 어텐션을 학습하는 1.5만 미만 매개변수의 미분 가능 메타-특징 게이트, (iii) Marchenko-Pastur 신호-잡음 분해에서 유도한 스펙트럼 적응형 Ridge 페널티 $\lambda^{\star}=lmax(\hat{C})/\mathrm{SNR}(\hat{C})$로 중첩 교차 검증을 제거, (iv) inverse-RMSE 휴리스틱을 대체하는 Laplace 근사 베이지안 블렌더이다. 우리는 예측 공간 중복과 메타 학습기 용량을 처음으로 공동 반영하는 PAC-Bayes 초과 위험(excess-risk) 상계를 증명한다. 여섯 벤치마크에서 CORE-STACK+는 ImageNet-1K top-1 +1.8%, ImageNet-C mCE -4.2, ADE20K mIoU +0.9, COCO AP +1.3을 달성하면서 유지 모델 수를 35–57% 줄이고 추론 FLOPs를 최대 41% 감소시킨다. ECE는 사후 온도 스케일링(post hoc temperature scaling) 없이도 깊은 앙상블 대비 2.1배 개선된다.
생물 다양성 모니터링을 위한 능동 학습: 라벨 효율에서 신뢰 가능한 생태학적 추론까지
Active Learning for Biodiversity Monitoring: From Label Efficiency to Reliable Ecological Inference
전문가 어노테이션 역량의 한계는 생물 다양성 모니터링에서 흔한 제약이다. 수동 음향 기록 장치와 카메라 트랩은 전문가가 분석할 수 있는 속도보다 빠르게 데이터를 생성한다. 기계 학습(ML) 모델은 이러한 데이터를 대규모로 처리할 수 있지만, 그 신뢰성은 라벨이 붙은 표본의 품질, 양, 커버리지에 달려 있어 전문가 시간은 여전히 병목이다. 능동 학습(active learning, AL)은 고정된 어노테이션 예산 하에서 모델을 가장 크게 개선할 것으로 기대되는 표본을 선택함으로씨 이 병목을 완화하며, 발표된 근거에 따르면 목표 성능에 도달하는 데 필요한 라벨 수를 줄일 수 있다. 그러나 모니터링 프로그램은 더 넓은 질문에 직면한다: 제한된 전문가 예산을 어떻게 나누어야 모델 학습, 검증, 그리고 모델 출력에 기반한 생태 추정이 모두 신뢰 가능하게 유지되는가? AL은 표본을 비무작위로 선택하므로, 그 라벨은 검증, 보정(calibration), 또는 임계값 선택에 적합하지 않으며, 이 긴장은 드물게 인식된다. 우리는 음향 및 영상 양식에 걸친 AL 연구를 종합하고 공백과 기회를 식별한다. 대부분의 연구는 시뮬레이션 어노테이터를 사용한 사전 라벨 벤치마크에서 쿼리 전략을 평가하며, 실제 모니터링 워크플로에서의 배포는 드물고 조류와 고래류에 집중되어 있다. 박쥐, 곤충, 양서류, 어류는 과소 대표되며, 멀티모달 응용은 대체로 미탐색 상태이다. 평가는 어노테이션 노력의 헤드라인 감소에 초점을 맞추는 경우가 많고, 무작위 샘플링 베이스라인, 클래스별 결과, 또는 보정 분석 없이, 검증에 필요한 라벨을 거의 반영하지 않는다. 우리는 이러한 예산 결정을 명시적으로 드러내는 AL 루프에 대한 튜토리얼적 정리를 제공하고, 라벨 효율적 학습, 검증, 신뢰할 수 있는 하류 생태학적 추론을 지원하는 AL 방법을 향한 로드맵을 제시한다.
지상 기반 하늘 이미지 분류를 위한 레이블 효율적 학습: GCD에서의 전이학습, 능동 학습, 의사 레이블링 벤치마크
Label-Efficient Learning for Ground-Based Sky-Image Classification: A Benchmark of Transfer Learning, Active Learning, and Pseudo-Labeling on GCD
정확한 지상 기반 구름 분류는 대기 모니터링, 태양광 에너지 발전량 예측, 항공 기상 평가, 기후 관측 시스템에 중요하다. 그러나 신뢰할 수 있는 하늘 이미지 어노테이션은 시간이 많이 소요되며, 특히 구름 유형이 시각적으로 유사하거나 혼합되어 있을 때 더욱 그렇다. 본 연구는 지상 기반 구름 데이터셋(Ground-based Cloud Dataset, GCD)을 사용하여 지상 기반 구름 분류에 대한 심층 학습의 레이블 효율성을 연구한다. 새로운 아키텍처를 제안하는 대신, 제한된 어노테이션 예산 하에서 세 가지 실용적 전략, 즉 지도 전이학습(supervised transfer learning), 불확실성 기반 능동 학습(active learning), 고신뢰도 의사 레이블링(pseudo-labeling)을 벤치마크한다. ImageNet으로 사전학습된 ResNet50을 공통 고정(frozen) 백본으로 사용하며, 학습 레이블의 $1\%$부터 $100\%$까지의 레이블 예산에 대해 다섯 개의 랜덤 시드로 실험을 반복한다. 지도 전이학습은 이미 레이블 효율성이 매우 높다. 테스트 정확도는 레이블 $1\%$일 때 $0.635 \pm 0.018$에서 레이블 $40\%$일 때 $0.730 \pm 0.002$로 증가하여, 전체 레이블 결과인 $0.735 \pm 0.003$에 근접한다. 능동 학습과 의사 레이블링은 지도 샘플링과 대등한 성능을 보이며 일부 지표와 예산에서 소폭의 향상을 제공하지만, 둘 다 전체적으로 크거나 일관된 이득을 주지는 못한다. 진단 분석 결과, 채택된 의사 레이블은 $0.946$에서 $0.977$의 정확도로 신뢰할 수 있으나, 더 쉬운 고신뢰도 하늘 유형 그룹에 편향되어 있다. 반면 불확실성 샘플링은 Mixed 그룹과, 서로 혼동되기 쉬운 Stratocumulus 및 Cumulonimbus 그룹을 포함하여 시각적으로 어려운 그룹을 우선적으로 질의하지만, 이러한 표적 획득은 미미한 향상만을 가져온다. 종합하면, 전이학습은 GCD의 어노테이션 요구량을 크게 줄이는 반면, 단순한 능동 학습 및 준지도 학습 전략은 강력한 지도 학습 기준선 대비 추가적인 이점이 제한적이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.