능동 학습(Active Learning, AL)은 라벨링을 위해 가장 유익한 샘플만을 선택함으로써 의료 영상의 어노테이션 비용을 줄이지만, 라벨링된 데이터가 부족할 때 콜드 스타트(cold-start) 문제로 어려움을 겪습니다. 비전-언어 모델(VLM)은 제로샷(zero-shot) 예측을 통해 콜드 스타트 문제를 해결하지만, 온도 스케일링된 소프트맥스(softmax) 출력은 내재된 불확실성을 무시한 채 텍스트-이미지 유사도를 결정론적 점수로 취급하여 과신(overconfidence)을 초래합니다. 이러한 과신은 샘플 선택을 잘못 유도하여 유익하지 않은 사례에 어노테이션 예산을 낭비하게 만듭니다. 이러한 한계를 극복하기 위해, Similarity-as-Evidence(SaE) 프레임워크는 유사도 벡터를 증거로 재해석하고 라벨에 대한 디리클레 분포(Dirichlet distribution)를 매개변수화하는 유사도 증거 헤드(Similarity Evidence Head, SEH)를 도입하여 텍스트-이미지 유사도를 캘리브레이션(calibration)합니다. 약한 신호 하에서도 확신에 찬 예측을 강제하는 표준 소프트맥스와 달리, 디리클레 공식화는 증거 부족(공허성, vacuity)과 상충되는 증거(불협화음, dissonance)를 명시적으로 정량화하여 경직된 소프트맥스 정규화(normalization)로 인한 과신을 완화합니다. 이를 기반으로 SaE는 이중 요소 획득 전략을 채택합니다. 초기 라운드에서는 커버리지를 보장하기 위해 고공허성 샘플(예: 희귀 질환)을 우선시하고, 후반 라운드에서는 경계를 미세 조정하기 위해 고불협화음 샘플(예: 모호한 진단)을 우선시하여 임상적으로 해석 가능한 선택 근거를 제공합니다. 20%의 라벨 예산을 사용한 10개의 공개 의료 영상 데이터셋(dataset) 실험에서 SaE는 82.57%의 최고 수준(SOTA) 매크로 평균 정확도를 달성했습니다. 대표적인 BTMRI 데이터셋에서 SaE는 0.425의 음의 로그 가능도(NLL)를 기록하며 우수한 캘리브레이션 성능도 달성했습니다.
다중 대규모 언어 모델(multi-LLM) 협의회(council)는 여러 LLM이 질문에 대해 심의하고 신뢰도 추정치와 함께 답변을 반환하도록 합니다. 이러한 시스템이 추론에 점차 더 널리 사용됨에 따라, 해당 신뢰도는 보정된(calibrated) '정답일 확률'을 나타내야 하며, 일부 에이전트가 지속적으로 신뢰할 수 없는 경우에도 결정은 강건성을 유지해야 합니다. 기존의 협의회 집계(council aggregation) 방식은 두 가지 측면 모두에서 한계를 보입니다. 이들의 신뢰도 추정치는 정확성보다는 결단력을 측정하며, 지속적으로 신뢰할 수 없는 에이전트를 식별하거나 할인(discount)하지 못합니다. 본 논문에서는 협의회의 유형화된(typed) 움직임(누가 어떤 답변을 제안, 반박, 또는 양보했는지)을 에이전트별 신뢰도를 갖춘 고전적 주석자 모델의 관측값으로 취급하는 베이지안 변증법적 논증(Bayesian Dialectical Argumentation, BDA)을 소개합니다. 이러한 공식화는 다중 에이전트 심의를 신뢰도 추정 문제로 재구성하여, 지속적인 적대적 행동 하에서 심의 추적(deliberation trace)을 활용해 에이전트 신뢰도를 추론합니다. 추론된 에이전트 신뢰도에 따라 증거에 가중치를 부여함으로써, BDA는 후보 답변에 대해 보정된 사후 확률을 산출하는 동시에 지속적으로 신뢰할 수 없는 에이전트를 단순히 다수결로 배제하는 대신 반전(invert)할 수 있도록 합니다. 이진 및 다중 클래스 벤치마크 전반에서 BDA는 추가적인 LLM 호출 없이도 무비용(zero-cost) 협의회 집계 방식 중 최고의 보정 성능을 달성하며, 오염되지 않은 환경에서 경쟁력을 유지하면서도 지속적인 적대적 연합(coalition) 하에서 강건성을 향상시킵니다.
동적 아키텍처는 각 예측과 함께 예제별 라우팅 추적(routing trace)을 남기며, 분산된 라우팅은 예측을 신뢰하기 어렵다는 신호로 해석하기 쉽습니다. 본 연구에서는 소프트 빈 보정 보조 손실(soft-binned calibration auxiliary loss)을 적용하여 CIFAR-10/100에서 처음부터 학습(training)된 Swin-Tiny 및 DeiT-Small의 어텐션(attention) 잔차(Attention-Residual, AR) 변형 모델(model)들을 대상으로 라우팅 엔트로피에 대한 이러한 해석을 감사(audit)하며, 해당 추적이 모델 자체의 신뢰도(confidence)가 이미 드러내는 것 이상으로 정확도에 관한 정보를 전달하는지 질문합니다. 세 가지 점검을 통해 이러한 증가분을 탐색합니다. 고정된 신뢰도에서 라우팅 신호가 나타나는지, 학습 시드 전반에 걸쳐 재현되는지, 그리고 홀드아웃 예측기가 출력 전용 및 셔플된 추적 대조군에 대항하여 이를 활용할 수 있는지를 확인합니다. 이후 민감도 감사는 알려진 크기의 효과를 주입하고 탐침(probe)들이 각각의 얼마만큼의 비율을 회복하는지 측정합니다. 고정된 30개 테스트로 구성된 구간화(binned) 패밀리에서 다중성 보정(multiplicity correction)을 거쳐 살아남은 테스트는 없었으며, 명목상 적중이나 경계선상의 결과 모두 형제 시드에서 다시 발생하지 않았습니다. 24개의 쌍을 이룬 실행 전반에 걸쳐 스칼라 라우팅 탐침은 라우팅 계층화 보정에서 풀링된 개선을 가져오지 못했고, 엔트로피 프로파일 탐침은 셔플된 프로파일이 주어진 동일 탐침보다는 정확도를 더 잘 예측했으나 이진 로그 손실(binary log-loss)과 브라이어 점수(Brier score) 모두에서 신뢰도 전용 예측기보다는 성능이 떨어졌습니다. 즉, 셔플된 추적 대비 이득이 출력 대비 이득으로 이어지지는 않았습니다. 전체 로짓(logit) 벡터에 대한 조건화는 해당 비교를 미해결 상태로 남깁니다. 감사는 이러한 비검출(non-detection) 결과가 어느 수준까지 해석될 수 있는지 한계를 정합니다. 0.010 nats의 주입된 효과에서 프로파일 탐침은 오라클 이득의 24~59%를 회복하며, 참조 보존 보정 탐침은 두 가지 CIFAR-100 환경에서 각각 8% 및 23%를 회복하여 실제 레이블에 적용하기 위해 설정한 임계값에 미치지 못했습니다. 본 결과는 조건부 라우팅 정보의 부재가 아니라, 대조군에 따른 이득과 추정량 회복의 불완전성을 입증합니다.
이질적인 비전 백본(CNN, ViT, 하이브리드)을 스택하는 것은 정확도, 보정(calibration), 견고성을 위한 사실상의 표준이지만, 서로 맞물린 두 가지 병리가 그 이득을 제한한다. 예측 공간 다중공선성(prediction-space multicollinearity)은 메타 학습기의 Gram 행렬 조건을 악화시켜 가중치 분산을 키우고, 얇은 매니폴드 위에서 취약한 해법을 만든다. 보정 붕괴(calibration collapse)는 단순 선형 스택을 통해 구성 모델의 miscalibration을 누적 증폭하므로, 모델을 더 추가하면 기대 보정 오차(ECE)가 나빠질 수 있다. 기존 대안인 릿지 정규화, 탐욕적 선택, model soups, SWAG는 이 문제들 중 최대 하나만 다루며, 이질적 예측 풀에서 conditioning과 calibration을 동시에 겨냥하는 방법은 없다. 우리는 CORE-STACK+를 제안한다. 네 가지 구성 요소를 갖는 사전조건화(preconditioning) 파이프라인으로, (i) Pearson 상관으로는 보이지 않는 비선형 모델 간 의존을 제거하는 커널화 중복 필터(Centered Kernel Alignment, CKA [23] 사용), (ii) 앙상블 통계에 대한 샘플별 어텐션을 학습하는 1.5만 미만 매개변수의 미분 가능 메타-특징 게이트, (iii) Marchenko-Pastur 신호-잡음 분해에서 유도한 스펙트럼 적응형 Ridge 페널티 $\lambda^{\star}=lmax(\hat{C})/\mathrm{SNR}(\hat{C})$로 중첩 교차 검증을 제거, (iv) inverse-RMSE 휴리스틱을 대체하는 Laplace 근사 베이지안 블렌더이다. 우리는 예측 공간 중복과 메타 학습기 용량을 처음으로 공동 반영하는 PAC-Bayes 초과 위험(excess-risk) 상계를 증명한다. 여섯 벤치마크에서 CORE-STACK+는 ImageNet-1K top-1 +1.8%, ImageNet-C mCE -4.2, ADE20K mIoU +0.9, COCO AP +1.3을 달성하면서 유지 모델 수를 35–57% 줄이고 추론 FLOPs를 최대 41% 감소시킨다. ECE는 사후 온도 스케일링(post hoc temperature scaling) 없이도 깊은 앙상블 대비 2.1배 개선된다.
언어 모델의 캘리브레이션(calibration, 표현되거나 내재된 확신도와 실증적 정확도 간의 일치)은 자연어 처리(NLP) 분야 내에서 잘 연구되어 온 하위 분야입니다. 이를 측정하는 방법은 이미 존재합니다. 문제는 도입(adoption)에 있습니다. 이 하위 분야를 벗어난 NLP 연구에서는 모델의 확신도 점수가 유의미한지 확인하지 않은 채 정기적으로 새로운 모델, 데이터셋, 벤치마크를 도입하고 있습니다. 우리는 이러한 도입 격차가 신뢰할 수 있는 대규모 언어 모델(LLM) 평가의 주된 장애물이라고 주장합니다. 잘못된 캘리브레이션(miscalibration)은 두 가지 뚜렷한 영역에서 문제를 일으킵니다. 첫째는 과도하게 확신하는 실수가 실제 피해를 초래하는 배포 단계이며, 둘째는 LLM-as-a-judge, 합성 데이터 생성, 능동 학습(active learning)과 같은 방법들이 이를 검증하지 않은 채 캘리브레이션된 확신도에 의존하는 연구 파이프라인 내부입니다. 표준 캘리브레이션 지표는 예제당 확신도 점수와 정확도 판단이라는 두 가지 입력만을 필요로 합니다. 오늘날 널리 사용되는 대부분의 벤치마크는 이미 이 둘을 모두 제공하므로, 캘리브레이션을 즉시 보고할 수 있습니다. 그러나 개방형 생성(open-ended generation)의 경우, 이 두 입력을 정의하는 것은 여전히 미해결 과제입니다. 우리는 각 NLP 하위 분야가 주요 성능 지표와 캘리브레이션 점수를 결합해야 한다고 주장하며, 캘리브레이션을 지엽적인 주제가 아닌 모든 모델의 필수적인 속성으로 다룰 것을 촉구합니다.
Dice 손실과 같은 영역 기반 손실 함수는 클래스 및 영역 불균형이 심한 분할(segmentation) 과제에서 사실상 표준으로 자리 잡았다. 그러나 영역 기반 손실 함수로 학습된 모델은 잘 알려진 바와 같이 보정이 잘 되지 않으며, 일반적으로 과도하게 확신하는 예측을 낸다. 종양 절제 경계 설정과 같은 의료 영상 응용에서 이러한 보정 오류는 임상 채택을 가로막고 있다. 본 연구에서는 이러한 과신(overconfidence)에 대한 새로운 그래디언트 관점을 제시하고, 그것이 영역 기반 손실 함수에 어떻게 영향을 미치는지 보인다. 보정 문제를 완화하기 위한 간단하면서도 효과적인 개입으로 그래디언트 벡터장에 대한 "수술(surgery)"을 제안한다. 이 수술은 손실의 편도함수에 계수를 추가하여, 그래디언트의 크기를 예측 오차에 비례하도록 선형적으로 조절한다. 2D 및 3D 의료 분할 과제에 걸친 실험적 평가에서, 임의의 영역 기반 손실 함수와 함께 사용할 때 높은 예측 정확도를 유지하면서 이 개입의 효과를 입증한다.
온도 스케일링(temperature scaling)은 현대 심층 학습에서 지배적인 사후(post-hoc) 보정(calibration) 방법이다. 그 이론적 정당성은 드물게 명시되는 가정, 즉 정답(ground-truth) 레이블이 one-hot이며 결정론적(deterministic)이라는 것에 기반한다. 실제로 레이블은 종종 소프트(soft), 크라우드소싱(crowd-sourced), 또는 진정한 분포적(distributional) 형태이며, 이는 어노테이션 노이즈가 아니라 인간 어노테이터 간의 실제 불일치를 반영한다. 우리는 이 가정이 위반될 때 온도 스케일링이 보정 특성을 유지하는지, 그리고 그로 인한 성능 저하가 모델 규모에 따라 달라지는지를 연구한다. 인간 어노테이션 소프트 레이블 분포를 제공하는 공개 데이터셋인 CIFAR-10H와 ChaosNLI를 사용하여, hard one-hot 레이블과 soft 분포적 레이블 타깃 모두에서 모달리티당 세 가지 모델 규모를 평가한다. 아홉 가지 구성 전반에 걸쳐 양의 소프트 레이블 보정 격차를 발견한다: hard 레이블로 보정된 온도 스케일링은 soft 레이블로 직접 보정된 오라클(oracle)보다 일관되게 열위이며, Brier Score 격차는 0.002에서 0.134까지 범위에 있다. 격차는 비전(vision) 도메인과 ChaosNLI의 SNLI 유래 split에서 모델 규모에 따라 단조적으로 증가하며, 언어(language) 도메인(평균 격차 0.079)에서 비전(평균 격차 0.003)보다 실질적으로 더 크다. MNLI 유래 split에서의 규모 순서 역전은 동일 도메인(matched-domain) 학습 후에도 남아 있으며, 이를 규모 가설에 대해 결론적이지 않은(inconclusive) 것으로 간주하고 주로 해당 split에서의 거의 우연 수준(near-chance) 정확도에 기인한다고 본다. 두 번째 사후 기준선으로, 다중 클래스 isotonic regression은 동일한 정성적 결론을 보인다: 아홉 가지 구성 모두에서 양의 소프트 레이블 격차, 그리고 비전보다 언어에서 더 큰 격차. 이러한 발견은 다수결 투표(majority-vote) 레이블에 기반한 보정 프로토콜이 레이블 모호성이 구조적인 곳 어디에서든 모델 신뢰성을 체계적으로 왜곡함을 시사하며, 안전성이 중요한(safety-critical) 환경에서의 배포에 직접적인 영향을 미친다.
Graph neural networks (GNNs) are increasingly deployed in real-world applications where distribution shift is un-avoidable. However, how such shifts affect model calibration, defined as the agreement between predictive confidence and actual accuracy, remains poorly understood, and existing graph calibration methods typically rely on labeled validation data from the deployment distribution. In this work, I present the first closed-form theoretical characterization of GNN calibration under distribution shift. I show that calibration is governed by a single scalar quantity that explicitly depends on structural changes between the source and target graphs, as well as feature quality. This characterization precisely identifies when a model becomes over-confident, under-confident, or remains calibrated, and directly yields the optimal temperature scaling strategy. I further extend the analysis to graph convolutional networks with symmetric normalization, multi-class classification, and covariate shift, and derive a theoretical upper bound on the expected calibration error. My analysis also reveals that, under homogeneous distribution shift, a single global temperature is theoretically optimal, providing a principled explanation for why more complex node-wise recalibration methods offer no additional benefit. Building on these theoretical insights, I propose STAC, a source-free, label-free calibration method. Experiments on synthetic benchmarks demonstrate substantial calibration improvements, while evaluations on five real-world graph datasets show that reliable calibration without target labels remains challenging despite the strong predictive power of the theory.
적대적 환경에서 운용되는 보안 탐지 모델은 재학습 시 출력 점수가 달라져 다운스트림 시스템이 깨지는 문제가 있는데, 이 논문은 전체 오탐률(FPR) 곡선을 대상으로 배포 간 일관된 FPR 의미를 점수에 부여하는 이진 분류기 캘리브레이션 방법을 제안한다. sklearn의 MinMaxScaler와 IsotonicRegression을 조합한 파이프라인으로 구현되며, 홀드아웃 평가에서 0.1% FPR 구간까지 상대 오차 2.3% 이내를 달성하고 배포 아티팩트를 200KB 미만으로 유지했다.
Language models have changed from unreliable text generators to highly-capable large models with trillions of parameters. Capability increases come hand-in-hand with increases in scale, making understanding the internal representations of models more challenging. Since millions of users increasing rely on language models to interact with external tools or make decisions in medium or high-stakes scenarios, we need to establish control over model behavior and know when to trust model outputs. In this paper, we discuss our contributions on harnessing the latent spaces by proposing steering vectors for control and developing latent space-based model calibrators for trust. Together, our contributions help demystify the latent spaces of language models and offer new insights into how to harness model internals to build more trustworthy language technology.
가우시안 프로세스(Gaussian process) 대리 모델과 Kennedy-O'Hagan 보정 프레임워크를 결합한 베이지안 잠재 GP 방법론을 제안하여, 저충실도 XFOIL 시뮬레이션 데이터와 희소한 실험 측정값만으로 항공역학적 계수(양력·항력·모멘트)의 불확실성을 정량화한다. 입력 불확실성을 잠재 변수로 처리해 주변화하는 핵심 기법 덕분에, 보정된 모델이 예측 샘플의 94.2–95.8%를 공개된 95% 진실 구간 내에 위치시키는 높은 정확도를 달성했다.
모델 캘리브레이션 평가에서 커널 밀도 추정(KDE)의 신뢰성이 대역폭 선택에 크게 좌우되는 문제를 해결하기 위해, KDE로 재구성한 위험(risk)을 경험적 위험과 정렬하는 새로운 최적화 프레임워크인 Risk Alignment(RA)를 제안한다. RA는 캘리브레이션 추정 편향을 이론적으로 최소화함을 증명하며, 다양한 아키텍처와 데이터셋 실험에서 MLE 등 기존 대역폭 선택 방법보다 일관되게 우수한 캘리브레이션 평가 성능을 보였다.
심층 신경망의 과신(overconfidence)과 보정(calibration) 부족 문제에 대해 Sharpness-Aware Minimization(SAM)이 예측 분포 엔트로피를 암묵적으로 극대화해 SGD 대비 보정을 개선한다는 점을 이론적으로 분석하고, 보정 성능을 더 높이는 CSAM 변형을 제안한다. ImageNet-1K 등 다양한 데이터셋 실험에서 SAM은 보정 오차를 줄이며, CSAM은 SAM보다 일관되게 낮은 보정 오차를 달성한다.
말초 혈액 도말 이미지에서 급성 림프모구 백혈병(ALL)을 자동 분류하는 연구들은 C-NMC 2019 데이터셋에서 거의 완벽한 성능을 보고하는 경우가 많다. 본 연구는 이러한 결과가 무작위 이미지 수준 분할로 인한 환자 수준 데이터 누출에 의해 부풀려질 수 있음을 보인다. 이 경우 동일 피험자의 세포가 학습 폴드와 테스트 폴드 양쪽에 모두 등장할 수 있다. 우리는 엄격한 피험자 비중복 프로토콜 하에 누출 인식 벤치마크를 수립하여 LightGBM, RBF-SVM, EfficientNet-B0, EfficientNet-B1, ViT-Tiny를 비교한다. 모델은 73명의 피험자로 구성된 세 개의 피험자 비중복 폴드를 사용하여 개발되었으며, 환자 중복이 전혀 없는 28명의 미관측 피험자로부터 수집한 1,867장의 이미지로 구성된 외부 예비 단계 테스트 세트에서 평가하였다. 판별 성능 외에도, 기대 캘리브레이션 오차(ECE), 브라이어 점수, 온도 스케일링을 이용하여 캘리브레이션을 평가하였다. 공정한 평가 하에서 EfficientNet-B1이 AUROC 0.913, 민감도 0.87, 특이도 0.80, 캘리브레이션 후 ECE 0.024로 최고 성능을 달성하였다. 동결 특징(frozen-feature) 분류기와 ViT-Tiny는 높은 민감도를 보이나 특이도가 낮아 악성 클래스를 과도하게 예측하는 경향을 나타낸다. 무작위 분할 대 피험자 비중복 분할 절제 연구(ablation)에 따르면, 보수적인 동결 특징 설정에서도 무작위 분할이 AUROC를 약 0.04 부풀리는 것으로 나타났다. 이러한 결과는 C-NMC 2019에서의 이미지 수준 평가에 대한 주의를 촉구하며, 향후 연구를 위한 재현 가능한 캘리브레이션 인식 벤치마크를 제공한다.
대규모 언어 모델(LLM)은 사용자의 반박, 검색된 문서, 또는 웹 검색 결과를 통해 이전 출력과 모순되는 입력을 자주 마주한다. 이러한 충돌을 해결하는 방식—우리가 인지적 부조화 해결(cognitive dissonance resolution)로 정의하는 과정—은 행동적으로 특성화되어 왔지만, 내부 모델 불확실성과의 연관은 잘 이해되지 않았다. 이를 체계적으로 연구하기 위해, 우리는 계층화된 인식론적 지위를 가진 12개의 보건과학 주장에 걸쳐 출처 권위와 증거 품질이라는 두 차원에서 설득 시도를 변화시킨다. 부조화는 설득, 역효과(backfire), 또는 면역(immunity)을 통해 해결될 수 있다. 우리는 상충하는 증거에 대해 모델이 얼마나 쉽게 설득되는지를 나타내는 계량경제학에서 영감을 받은 척도인 신뢰 탄력성(Trust Elasticity, TE)을 도입한다. 4개의 LLM에서 TE는 상당히 다양하게 나타나며, 명백히 거짓인 주장은 모든 모델에서 거의 0에 가까운 TE를 유발한다. 두 개의 오픈 가중치 모델에서, 우리는 이러한 변이가 두 가지 상보적인 내부 불확실성 지표, Qwen의 Confidence Miscalibration과 Llama의 Internal Uncertainty Change와 연관됨을 추가로 발견한다. 이러한 결과는 모델 간 행동적 변이를 측정 가능한 내부 특성과 연결하며, 내부 불확실성을 표적으로 하는 개입을 향후 연구로 제시한다.
MLLM-as-a-Judge는 통상적으로 인간 주석과의 일치도로 검증되지만, 인간 풀이 문화적으로 이질적일 때 이 지표는 정의되지 않는다. 우리는 VOIR DIRE를 소개한다. 이는 음식, 패션, 건축 분야에 걸쳐 미국과 중국 본토 맥락을 아우르는 626개의 문화적으로 짝지어진 이미지-프롬프트 아티팩트로 구성된 멀티모달 벤치마크이며, 주석자 풀은 풀 내에서는 신뢰할 만하다(a = 0.86/0.74) 그러나 평가에서 풀 간에는 발산한다(Q1 r = -0.12). 6개 MLLM에서 바이어스는 두 가지 실패로 분해된다: 긍정성 하한 보정 실패(압축된 척도 사용)와 방향성 실패(한 문화적 규범으로의 기본 설정). 이 코퍼스에서 논쟁적 항목들이 두 풀을 분리하도록 샘플링되었을 때, 하한은 기계적으로 더 관대한 중국식 해석을 검증한다. 페르소나 프롬프팅은 보정을 부분적으로 회복하지만 방향성 잔차는 남아 있으며, 이는 기울기가 척도 압축으로 환원될 수 없음을 보여준다. 참조 풀 문맥 내 시연(in-context demonstrations)은 하한 단 사용을 복원하기보다 방향성 잔차를 심화하고 고점을 부풀린다. 모델 출처는 시연 하에서 대략 불변인 작은 가산적 기울기(~0.10 MAE)를 추가한다. 우리는 각 참조 풀에 대한 정렬을 별도로 보고하고, 풀 간 발산을 판사 속성으로 취급할 것을 권고한다.
다중 파라미터 MRI에서의 신경교종 분할은 치료 계획의 중요한 구성 요소입니다. 치료에 중요한 하위 영역에서 오류를 드러내지 않고 실패하는 분할 모델은 Dice 점수와 같은 중첩 기반 메트릭으로는 노출되지 않는 환자 안전 위험을 초래합니다. 우리는 몬테카를로(MC) 드롭아웃을 통한 복셀 수준 불확실성 추정이 임상적으로 중요한 하위 영역에서 분할 오류를 신뢰할 수 있게 식별할 수 있는지, 그리고 보정 실패 모드가 표준 보고 메트릭만으로 감지 가능한지 질문합니다. 126명의 BraTS21 환자에 대한 실증적 두 모델 사례 연구에서, 우리는 고성능 사전학습된 SegResNet과 잔차 유닛이 있는 로컬에서 학습된 UNet(UNet-Res)을 평가합니다. MC 드롭아웃은 강력한 불확실성-오류 정렬(엔트로피(H)에 대한 AUROC $\approx$0.97)을 달성하면서 분할 정확도($|Δ\text{Dice}| <0.01$)를 유지했으며, 이는 불확실성이 잘못된 복셀을 올바른 복셀보다 높게 순위 매긴다는 것을 나타냅니다. 엔트로피 기반 환자 계층화는 분할 성능이 현저히 낮은 고불확실성 하위 그룹(중앙값 전체 종양 Dice $0.835$ 대 $0.925$)을 식별했으며, 이는 불확실성이 실용적인 선별 신호로서의 가치를 뒷받침합니다. 그러나 전역 정렬은 중요한 영역별 차이를 가릴 수 있습니다. AUROC가 유사함에도 불구하고, UNet-Res는 거의 0에 가까운 증강 종양 엔트로피($0.054$)와 $0.915$의 기대 보정 오차(ECE)를 보였으며, Dice는 $0.714$에 불과했습니다. 이는 가장 임상적으로 중요한 하위 영역에서 심각하게 잘못 보정된 신뢰도를 나타내는 것으로, 표준 Dice 및 AUROC 보고에서는 보이지 않는 실패 모드입니다. 이러한 발견은 강력한 불확실성-오류 정렬이 임상 안전성에 필요하지만 충분하지 않다는 것을 보여줍니다: 임상 적용을 위한 모델 선택 시 AUROC 평가와 함께 하위 영역별 보정 평가가 반드시 수반되어야 합니다.
데이터 유출(기준선에서 사용할 수 없는 정보로 모델이 오염되는 것)은 기계 학습 기반 과학에서 가장 지배적인 재현성 실패 원인이지만, 검출 도구는 학습 코드, 외부 데이터 또는 도메인 전문 지식을 필요로 합니다. 감사자가 가장 자주 보유하는 산출물인 모델의 출력에 대해 작동하는 도구는 없습니다. 우리는 예측과 결과만으로 유출에 대해 무엇을 결정할 수 있는지 질문합니다. 우리는 유출 진단이 예측 위험/결과 법칙의 범함수이며, 적절한 점수 규칙(proper scoring rules) 및 의사결정 곡선 분석과 연결된 임계값 가중치에 의해 매개변수화되는 의사결정 이론적 프레임워크를 제시합니다. 우리는 명확한 불가능성을 증명합니다: 정직한 모델의 보정(calibration) 및 식별력(discrimination)과 일치하는 재보정된 유출은 예측의 *어떤* 함수로도 정직한 성능과 구별할 수 없으므로, 이 광범위한 클래스는 달성 가능한 식별력에 대한 외부에서 제공된 상한선에 대해서만 검출 가능합니다. 그 다음 우리는 유출이 숨길 수 없는 것을 증명합니다: 거의 레이블 유출의 특징인 거의 결정론적인 하위 그룹은 비결정론적 결과의 합법적인 예측기가 만들어낼 수 없는 지속적인 단위 순도(unit-purity) 헤드를 생성하며, 이는 사전 정보 없는 테스트를 제공합니다. 이러한 결과들은 유출을 오보정된(miscalibrated), 광범위하게 보정된(broad-calibrated), 결정론적(deterministic)의 3가지로 분류하며, 각각은 일치하는 검출기와 실패 모드를 가집니다. 우리는 등급화된 심각도가 알려진 시간 창 기반 동반질환 유출을 사용하여 영국 바이오뱅크(UK Biobank)에서 검증하며, 이 종점에서 $Δ\cstar \approx 0.007$의 검출 하한선을 측정했습니다. 이 값 미만에서는 잔여 유출이 출력에서 검출할 수 없으며, 결론을 바꿀 수 없을 만큼 작습니다. 수치적 하한선은 코호트 및 종점에 따라 다르지만, 구조적 교훈은 일반적입니다. 출력 전용 검출은 잔여 유출이 정직하게 더 강력한 예측기와 구별할 수 없는 경우 실패합니다. 이 테스트는 범용 하드웨어에서 1초도 안 되는 시간 안에 예측 벡터에 대한 결과를 반환합니다.