Not Just How Much, But Where: Decomposing Epistemic Uncertainty into Per-Class Contributions
한국어 초록
안전 중요 분류(safety-critical classification)에서 실패 비용은 종종 비대칭적이지만, 베이지안 심층 학습(Bayesian deep learning)은 인식론적 불확실성(epistemic uncertainty)을 단일 스칼라 값인 상호 정보량(MI)으로 요약하여, 모델의 무지가 양성(benign) 클래스에 관한 것인지 안전 중요(safety-critical) 클래스에 관한 것인지 구별하지 못합니다. 우리는 MI를 클래스별 벡터 $C_k(x)=σ_k^{2}/(2μ_k)$로 분해하며, 여기서 $μ_k{=}\mathbb{E}[p_k]$와 $σ_k^2{=}\mathrm{Var}[p_k]$는 사후 샘플(posterior samples)에 대한 평균과 분산입니다. 이 분해는 엔트로피(entropy)의 2차 테일러 전개(second-order Taylor expansion)에서 유도되며, $1/μ_k$ 가중치는 경계 억제(boundary suppression)를 보정하여 희소 클래스와 빈번한 클래스 간에 $C_k$를 비교 가능하게 만듭니다. 구조상 $\sum_k C_k \approx \mathrm{MI}$이며, 이와 함께 제공되는 왜도(skewness) 진단은 근사가 저하되는 입력을 식별합니다. $C_k$의 공리적 성질을 특성화한 후, 우리는 세 가지 작업에서 이를 검증합니다: (i) 당뇨망막병증(diabetic retinopathy)에 대한 선택적 예측(selective prediction), 여기서 중요 클래스(critical-class)의 $C_k$는 MI 대비 34.7%, 분산 기준선(variance baselines) 대비 56.2% 선택적 위험(selective risk)을 감소시킵니다; (ii) 임상 및 이미지 벤치마크에서의 분포 외(out-of-distribution) 탐지, 여기서 $\sum_k C_k$는 최고의 AUROC를 달성하고 클래스별 관점은 MI에서는 보이지 않는 비대칭적 변화를 드러냅니다; (iii) 제어된 라벨 노이즈(label-noise) 연구, 여기서 $\sum_k C_k$는 엔드투엔드 베이지안 학습(end-to-end Bayesian training) 하에서 주입된 알레아토릭 노이즈(aleatoric noise)에 대해 MI보다 덜 민감한 반면, 두 지표 모두 전이학습(transfer learning) 하에서는 성능이 저하됩니다. 모든 작업에 걸쳐, 사후 근사(posterior approximation)의 품질은 지표 선택만큼 강력하게 불확실성을 결정하며, 이는 네트워크를 통해 불확실성이 어떻게 전파되는지가 측정 방법만큼이나 중요하다는 것을 시사합니다.
원문 초록
In safety-critical classification, the cost of failure is often asymmetric, yet Bayesian deep learning summarises epistemic uncertainty with a single scalar, mutual information (MI), that cannot distinguish whether a model's ignorance involves a benign or safety-critical class. We decompose MI into a per-class vector $C_k(x)=σ_k^{2}/(2μ_k)$, with $μ_k{=}\mathbb{E}[p_k]$ and $σ_k^2{=}\mathrm{Var}[p_k]$ across posterior samples. The decomposition follows from a second-order Taylor expansion of the entropy; the $1/μ_k$ weighting corrects boundary suppression and makes $C_k$ comparable across rare and common classes. By construction $\sum_k C_k \approx \mathrm{MI}$, and a companion skewness diagnostic flags inputs where the approximation degrades. After characterising the axiomatic properties of $C_k$, we validate it on three tasks: (i) selective prediction for diabetic retinopathy, where critical-class $C_k$ reduces selective risk by 34.7\% over MI and 56.2\% over variance baselines; (ii) out-of-distribution detection on clinical and image benchmarks, where $\sum_k C_k$ achieves the highest AUROC and the per-class view exposes asymmetric shifts invisible to MI; and (iii) a controlled label-noise study in which $\sum_k C_k$ shows less sensitivity to injected aleatoric noise than MI under end-to-end Bayesian training, while both metrics degrade under transfer learning. Across all tasks, the quality of the posterior approximation shapes uncertainty at least as strongly as the choice of metric, suggesting that how uncertainty is propagated through the network matters as much as how it is measured.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.21160v4제출 시각 미확인
- arXiv:2602.21160v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성
Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis
확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.
형광 현미경 이미지에서 극히 희귀한 사멸 세포의 검출
Detection of extremely rare dead cells in fluorescence microscopy images
형광 현미경 관찰에서 사멸 세포 검출은 표현형 스크리닝과 약물 효능 평가에 필수적입니다. 그러나 신호 가변성, 광학 인공물(optical artifact), 여러 채널 간 공국재화(colocalization) 모호성으로 인해 자동 식별은 여전히 어렵습니다. 세포핵 경계를 정의하는 마커는 세포사멸(apoptotic) 마커와 공간적 또는 시간적으로 깔끔하게 일치하지 않습니다. 더욱이 마커 축적 동역학은 개별 세포 및 세포사멸 단계마다 다르므로 범용 임계값을 신뢰하기 어렵습니다. 본 논문에서는 핵 염색 검체에서 세포사멸 세포를 검출하기 위한 여러 전산적 접근 방식에 대한 체계적인 비교를 제시합니다: (1) 강도 임계값, 분포, 상관관계 및 도메인 지침을 사용하는 휴리스틱 방법; (2) 수치적 특징(로지스틱 회귀, 랜덤 포레스트, XGBoost 및 LightGBM)과 이미지 특징(ResNet-18 및 EfficientNet-B0)을 사용하는 분류; (3) 마찬가지로 수치적 특징(격리 포레스트, 원클래스 SVM 및 PCA 재구성)과 이미지 특징(합성곱 오토인코더 및 Deep SVDD)을 사용하는 이상 탐지. 수작업으로 주석이 달린 243개의 실측값(ground truth) 사멸 세포를 포함하여 여러 장면에 걸쳐 65,527개의 세포/핵이 포함된 258개 이미지 데이터셋을 사용하여, PR-AUC, 정밀도, 재현율, F1-score 및 macro-F1과 같은 지표로 각 방법을 평가합니다. 연구 결과에 따르면 이미지 특징을 사용하는 분류(심층 학습)와 수치적 특징을 사용하는 분류(전통적 방식)가 가장 우수한 성능을 달성했으며, ResNet-18과 XGBoost가 수작업으로 설계된 휴리스틱 및 이상 탐지 방법보다 크게 우수한 성과를 보였습니다. 이러한 연구 결과는 최첨단 전산 및 학습 기법으로도 이러한 생의학 문제를 해결하는 것이 여전히 매우 까다롭다는 점을 보여줍니다. 우리는 도메인 과학자를 돕는 보조 도구로서 완전 자동 방식이나 인간 참여형(human-in-the-loop) 설정 모두에서 연구자들에게 효과적인 의사결정 지원 도구를 제공하는 것을 목표로 합니다.
베이즈 역문제에서 빠른 사후분포 샘플링을 위한 플로우 매칭
Flow Matching for Fast Posterior Sampling in Bayesian Inverse Problems
ML-CLAPPS: 클래스 우선순위화를 적용한 불균형 다중 레이블 학습을 위한 확률론적 프레임워크
ML-CLAPPS: A Probabilistic Framework for Imbalanced Multilabel Learning under Class Prioritization
실세계 데이터셋은 심각한 클래스 불균형을 보이는 경우가 많으며, 이는 특히 희귀 클래스에서 심층 학습(deep learning) 모델의 성능을 저하시킵니다. 이진 및 다중 클래스 환경에서는 불균형에 대한 연구가 활발히 이루어졌지만, 복잡한 레이블 동시 발생(co-occurrence)으로 인해 다중 레이블(multilabel) 문제에서는 훨씬 더 큰 난제가 됩니다. 심전도(ECG) 분류와 같은 임상 응용 분야에서는 이러한 난제와 함께 두 번째 결정적인 과제가 결부되는데, 이는 위음성(false negative)으로 인한 막대한 비용을 줄이기 위해 유병률과 무관하게 고위험 질환의 우선순위를 지정해야 한다는 점입니다. 본 연구에서는 학습 인스턴스에 대한 분포를 최적화하여 모델의 서로 다른 클래스에 대한 노출을 제어하는 학습 가능한 샘플러인 다중 레이블 클래스 우선순위화 확률론적 샘플러(Multilabel Class-Prioritized Probabilistic Sampler, ML-CLAPPS)를 소개합니다. 이 접근 방식은 다중 레이블 불균형을 해결하는 동시에 사용자 정의 중요도 벡터(importance vector, IV)를 통해 중요한 질환의 우선순위화를 가능하게 합니다. 실세계 다중 레이블 ECG 이미지 데이터셋을 사용한 실증적 평가는 ML-CLAPPS가 최고 수준(SOTA)의 성능을 달성함을 입증합니다. 우리는 본 모델이 지정된 IV에 클래스 노출도를 일치시키며, 특정 클래스의 중요도를 높이면 해당 클래스의 분류 성능이 상응하여 향상됨으로써 임상적으로 중대한 질환의 명시적인 우선순위화가 가능함을 보여줍니다.
비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법
Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment
능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.
라벨 조건부 등각 예측을 활용한 라디오믹스 기반 갑상선 결절 분류
Radiomics-Based Thyroid Nodule Classification with Label-Conditional Conformal Prediction
갑상선 결절의 악성도 평가는 초음파 영상에 의존하지만, 기존의 위험 계층화 시스템은 관찰자 간 상당한 변동성으로 인해 불필요한 생검 비율이 높아지는 문제를 겪고 있습니다. 본 논문에서는 PyRadiomics를 통한 정량적 특징 추출과 일반화 가산 모델(GAM) 분류기를 결합한 라디오믹스(radiomics) 기반 프레임워크를 제안합니다. 이 분류기는 판별 성능과 해석 가능성 간의 우수한 절충점을 보여 6개의 후보 중 선정되었습니다. 점 예측을 불확실성 추정으로 보완하기 위해 라벨 조건부 보장을 갖춘 교차 등각 예측(Cross-Conformal Prediction)을 적용하여, 이진 결정을 강제하기보다는 모호한 사례를 임상 검토 대상으로 플래깅(flagging)합니다. 실험은 갑상선 결절의 공개 초음파 데이터셋인 TN5000에서 수행되었습니다. 스피어만 상관관계 필터링 후 36개의 특징이 유지되었으며, GAM은 검증 세트에서 $0.89$의 AUC, $0.83$의 민감도, $0.82$의 특이도를 달성했습니다. 두 클래스 모두에 대한 실증적 커버리지 보장을 보장하도록 선택된 유의수준 $ε=0.09$에서, 테스트 세트 결절의 63\%가 확실한(즉, 단일 라벨) 예측을 받았으며, 확실한 악성에 대해서는 $0.94$의 조건부 정밀도와 확실한 양성 사례에 대해서는 $0.73$의 조건부 음성 예측도(NPV)를 기록한 반면, 나머지 37\%는 임상의에게 의뢰되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.