Background: Deep learning can classify thyroid nodules on ultrasound, but discrimination alone does not establish clinical reliability. We developed a calibrated deep-ensemble framework with uncertainty-aware selective prediction and conservative image-based triage. Methods: Nested five-fold cross-validation with three-fold inner architecture selection chose ConvNeXt-Tiny with a squeeze-and-excitation block, used to build a deterministic five-member ensemble. Training, early-stopping, calibration, and threshold subsets were separated within each fold; outer-test data remained isolated. Mutual information (MI), predictive variance, and maximum-softmax-probability (MSP) uncertainty were compared by risk-coverage and triage analyses, and predictive values across assumed malignancy prevalences of 5%-70%. The frozen TN5000 ensemble was applied to TN3K without recalibration. Results: On TN5000, pooled out-of-fold AUC-ROC was 0.9377, average precision 0.9708, expected calibration error 0.0138, and Brier score 0.0827. Under the primary MI-guided policy, 8.86% of images received a No-FNA suggestion, 60.00% an FNA recommendation, and 31.14% radiologist review; of 3574 malignant images, 14 (0.39%) received No-FNA and 708 (19.81%) review. Predictive variance and MSP ranked errors better than MI (AURC, AUGRC); no measure optimized all triage outcomes. Across prevalences of 5%-70%, NPV ranged 99.95%-97.93% and PPV 29.28%-94.75%. On TN3K, AUC-ROC was 0.7870, average precision 0.7254, expected calibration error 0.1899, and radiologist-review rate 83.7%. Conclusion: The ensemble showed strong internal discrimination and calibration, but performance deteriorated substantially on TN3K, indicating limited transportability under dataset shift. Multicentre validation, site-specific recalibration, threshold validation, and prospective evaluation are needed before clinical use.
Current evaluation of epistemic uncertainty relies on tasks such as out-of-distribution detection, active learning and selective prediction. However, common epistemic uncertainty scores, such as mutual information or the variance of the predictions, estimate the regret, the excess error of a predictor over the Bayes-optimal predictor. Building on the epistemic reject-option framework, we evaluate epistemic uncertainty using its ability to identify regret, and compare this evaluation with the other tasks. Benchmarking standard methods on datasets with repeated human labels reveals that the tasks rank the methods differently, including pairwise rank inversions between methods that are top-ranked on one criterion and bottom-ranked on another. The disagreement is present already at the optimum, where each task calls for a different score. Formulating selective prediction as a constrained optimization over coverage, expected risk, and regret, we prove that the optimal score is a convex combination of the ground-truth aleatoric and epistemic uncertainties, so that selective prediction and the regret task are the two endpoints of one family of tasks. Out-of-distribution detection, active learning and the regret task thus disagree, theoretically as well as empirically, on which method is a good estimator of epistemic uncertainty, while selective prediction departs from the regret task where the true risk and the regret order the inputs differently. Researchers must therefore state the downstream decision that an epistemic uncertainty estimate is meant to support, instead of relying on a general notion of model ignorance.
Large language models (LLMs) are increasingly deployed as critical decision-making components in high-stakes real-world AI systems, rendering LLM reliability a foremost practical concern. In this paper, we focus on enhancing LLM reliability through selective prediction (SP), a strategy that allows an LLM to only predict for inputs where it is likely to be correct (i.e., coverage) and hence reduce the error rate (i.e., risk) on that portion of inputs---flagging the remaining inputs for future human discretion. In other words, SP improves LLM reliability by balancing the risk-coverage trade-off and enabling seamless human-AI collaboration. To integrate SP into LLMs, we focus on the LLM post-training alignment stage and propose to align LLMs with SP performance metrics, in contrast with existing LLM alignment methods that focus primarily on correctness or calibration metrics. Specifically, we propose a novel alignment framework, Reinforcement Learning for Selection Reward (RLSR), which targets the area under the risk-coverage curve (AURC)---a popular SP performance metric---as its alignment objective. RLSR achieves substantially better risk-coverage trade-off compared to multiple alignment baselines on both in-domain and out-of-domain tasks.
유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.
오디오, 비디오, 텍스트가 서로 일치하지 않을 때, 정확도만으로는 추가 소스를 획득해야 할지 또는 판단을 보류해야 할지 알 수 없다. 우리는 통제된 3점수 벤치마크에서 이러한 선택을 연구한다: 정책(policy)은 부호가 있는 두 개의 점수를 관찰하고, 비용을 들여 세 번째 점수를 요청할 수 있으며, 판단을 보류할 수도 있다. 주요 보상은 메커니즘에 특화되어 있다: 보류는 하나의 지정된 모호성(ambiguity) 메커니즘에 대해서만 정답으로 인정되며, 혼합 손상(mixed corruption) 상황에서는 불이익을 받는다. 매칭된 대조군(matched controls)은 임계값 정책(threshold policy)이 더 적은 요청으로도 항상 요청하는 방식과 동등한 성능을 보인다는 것을 보여준다; 항상 응답하는 융합(fusion) 방식에 대한 임계값 정책의 우위는 해당 모호성에 부여된 보상에 따라 달라진다. 부분적으로 홀드아웃된 합성 분할(synthetic split)에서, 임계값 정책은 83개의 시드(seed)에 걸쳐 목표 결정 정확도(targeted decision accuracy) 0.789 ± 0.006과 유틸리티(utility) 0.481 ± 0.014를 달성한다. 3점수 다수결 참조(majority reference)는 0.626 ± 0.008과 0.252 ± 0.016을 달성하지만, 더 많은 정보를 사용한다. 매칭된 예산(matched-budget) 테스트에서, 학습 전용(train-only) 가치 선택기(value selector)는 10%와 25% 예산에서 쿼리 없음(no-query) 및 매칭된 무작위(matched-random) 정책보다 유틸리티를 개선하는 반면, 쌍별 불확실성(pair uncertainty)은 모든 예산에서 더 높은 유틸리티를 보인다. 50%와 63.7% 예산에서는, 비모호(non-ambiguous) 정확도가 약간 더 높음에도 불구하고 선택기가 유틸리티를 낮춘다. 모든 보류가 오답으로 채점될 경우, 다수결이 유틸리티 측면에서 임계값 정책을 능가한다. 중심 시간적 설정(central temporal setting)에서, 전체 트레이스 대조군(full-trace controls)은 신경망 모델(neural models)과 일치하는 반면, 위치 교란(position perturbations)은 이들을 구분한다. 홀드아웃된 배우(actor)의 감정 클립에서, 8프레임 융합(eight-frame fusion)은 두 인코더 쌍(encoder pairs)에 대해 서로 반대 부호의 정확도 차이를 보이며, 두 배우 구간(actor intervals) 모두 0을 포함한다; 매칭된 요청 라우팅(matched-request routing)의 이득은 작고 불확실하다. 이러한 결과는 전체 모달리티(full-modality) 정확도와 요청 전 선택 가치(pre-request selection value)를 구분하며, 선택 가치가 예산과 관찰된 쌍(observed-pair) 순위에 따라 달라짐을 보여준다.
밀리미터파(mmWave) 레이더를 이용한 비접촉식 심박수 센싱은 개별 측정값이 신뢰할 수 있는 추정을 뒷받침하는지 평가하는 과정이 필요합니다. 본 연구에서는 선택적 심박수 추정을 위해 획득된 위상 스펙트럼에서 심박 성분의 판독 용이성으로 정의되는 심박 관측 가능성(heartbeat observability) 평가의 학습을 다룹니다. 거시적 관측 기하 구조가 유사하더라도 산란체 반사파의 간섭성 중첩(coherent superposition)으로 인해 이 성분이 억제될 수 있으므로, 획득된 측정값으로부터 직접 평가해야 할 필요성이 발생합니다. 다양한 관측 가능성 조건 전반에서 학습 지도(supervision)를 얻기 위해 제어 가능한 다중 산란체 주파수 변조 연속파(FMCW) 시뮬레이터를 개발했습니다. 지배적인 심박 대역 피크와 알려진 심박수 사이의 일치 여부는 시뮬레이션된 각 측정값에 대한 자동 관측 가능성 라벨을 제공합니다. 저자들은 관측 가능성 점수와 심박수를 함께 예측하는 소형 듀얼 태스크 트랜스포머인 HEAR(Heartbeat Estimation with Assessed Reliability)를 제안합니다. HEAR의 입력은 스펙트럼 크기와 호흡 기본 주파수 대비 상대 주파수를 결합하여 호흡 고조파(respiratory harmonics)에 대한 맥락을 제공합니다. 시뮬레이션 관측값만으로 학습된 HEAR는 134명의 피험자로부터 60 및 120 GHz에서 수집된 두 개의 공개 실제 데이터셋에 제로샷(zero-shot)으로 전이됩니다. 학습된 동일한 점수는 HEAR 자체의 심박수 헤드뿐만 아니라 기존의 여러 추정기에서도 선택적 예측을 지원합니다. 120 GHz 데이터셋에서 점수 기반 선택을 적용하면 전체 커버리지에서의 17.9 BPM에서 50% 커버리지 기준 1.6 BPM으로 심박수 헤드의 평균 절대 오차(MAE)가 감소합니다. 전체 파이프라인은 엣지 디바이스에서 50.8 ms의 종단간(end-to-end) 처리 지연 시간을 달성합니다. 프로젝트 페이지: https://yuxuanhu9.github.io/HEAR/
공공 서비스 추천에는 요청된 서비스, 범위 및 날짜와 일치하는 근거가 필요하다. 그러나 누락된 모든 세부 사항을 결정적인 것으로 취급하면 유용한 추천이 보류될 수 있다. 본 논문에서는 미해결 상태로 남아 있어도 되는 정보와 핵심적인 결정 요건을 구분하는 EviGraph를 소개한다. 언어 에이전트(language agent)는 이러한 요건을 시간적 지식 그래프의 근거와 연결하며, 결정론적 검사기(deterministic checker)는 추천이 뒷받침되는지 여부를 확립한다. 실행 가능한 정책 참조가 포함된 이중 언어 홍콩 공공 서비스 벤치마크에 대한 평가 결과, 이러한 구분이 불필요한 기권(abstention)을 줄여주는 것으로 나타났다. 그러나 추가적인 검증은 결정 품질을 향상시키지 않으면서 뒷받침된 추천을 철회할 위험이 있다. 이러한 발견은 신뢰할 수 있는 근거 기반 탐색이 단순히 검증을 늘리는 것보다 결정을 위해 무엇이 확립되어야 하는지를 명시하는 것에 달려 있음을 시사한다.
Jev는 미리 정의된 답변 선택지에 확률을 부여하며 해당 선택지 외에는 답변할 수 없는 비생성형(non-generative) '시스템 1(System One)' 모델입니다. 의학 질의응답 및 사례 기반 진단 추론 과제에서 이 모델의 정확도와 캘리브레이션(calibration)은 아직 알려지지 않았습니다. 본 연구에서는 MetaMedQA, PubMedQA, DiagnosisArena-MCQ, 그리고 NEJM Case Challenges 등 네 가지 의학 벤치마크에서 Jev 1.13을 평가했습니다. (중간 수준의) 추론 기능이 적용된 경우와 적용되지 않은 GPT-6 Sol을 기준 모델로 삼았습니다. 1차 평가 지표는 Top-1 정확도였으며, 주요 2차 평가 지표는 캘리브레이션, 선택적 예측(selective prediction), 답변 불가능한 질문의 인식이었습니다. 총 8,469건의 모든 요청에서 유효한 답변이 반환되었습니다. Jev의 정확도는 PubMedQA에서는 중간 수준 추론을 사용한 GPT-6 Sol과 유사했으나(78.4% 대 78.2%), MetaMedQA에서는 더 낮았고(74.8% 대 82.7%), DiagnosisArena-MCQ(59.8% 대 82.4%)와 NEJM 사례(61.8% 대 82.4%)에서는 훨씬 낮았습니다. MetaMedQA에서 Jev의 확률값은 가장 잘 캘리브레이션되었으며(기대 캘리브레이션 오차 0.063 대 0.146), 확률이 0.9 이상인 답변(전체 질문의 52.9%)의 정확도는 93.4%였으나, GPT-6 Sol 역시 비슷한 비율의 질문을 수용했을 때 동등한 수준의 정확도를 보였습니다. DiagnosisArena-MCQ에서 Jev의 확률값은 판별 능력이 떨어졌습니다(AUROC 0.645 대 0.768). 정답이 '모르거나 답변할 수 없음'인 162개 질문 중 Jev는 10.5%에서 해당 선택지를 선택했습니다(GPT-6 Sol은 8.6%). 중앙값 지연 시간은 0.27~0.31초였으며, 2,823개 전체 항목의 비용은 0.08달러였습니다. Jev는 빠르고 저렴하며, 연구 논문 초록에 대해서는 프론티어 대규모 언어 모델(LLM)과 유사한 정확도를 보였으나 시험 문제에서는 더 낮았고 복잡한 진단 사례에서는 훨씬 낮았습니다. 임상에 적용하기 전에는 과제별 검증이 필수적입니다.
소비자 하드웨어에 배포된 비전-언어 모델(VLM)은 언제 답변하고 언제 보류할지 결정해야 하며, 이 결정은 정확성을 추적하는 신뢰도 신호에 달려 있다. 고정된 메모리 예산을 가진 실무자는 완전 정밀도의 소형 모델, 동일한 소형 모델의 양자화 버전, 그리고 동일한 메모리 발자국에 맞게 양자화한 대형 모델 사이에서 선택해야 한다—세 가지 구성은 신뢰도 신호를 서로 반대 방향으로 밀어낸다. 동일한 입력에서 Qwen2-VL 계열의 두 가지 신뢰도 신호—모델이 자연어로 표현하는 확신과 생성 답변에 대한 평균 토큰 확률—에 모델 스케일과 4-bit 양자화가 어떤 영향을 미치는지 측정한다. 세 가지 심각도의 여섯 가지 현실적인 사진 열화에 걸친 5,700개의 예측에 걸쳐, 스케일은 모델의 내부 불확실성 신호를 크게 개선하는 반면(2B에서 7B로 평균 오류 탐지 AUROC 0.80에서 0.98), 언어로 표현된 확신은 약하고 종종 무작위 수준에 머문다(평균 0.61에서 0.69): 모델이 아는 것과 말하는 것 사이의 간극은 크기가 커질수록 좁혀지기보다 넓어진다. 4-bit 양자화는 정확도에는 거의 무비용(-1.6점)이지만 신뢰도 신호에는 큰 대가를 치른다(내부 AUROC 0.95에서 0.80, 언어로 표현된 확신의 파싱 비율은 99%에서 64%로 급락). 고정 메모리 예산에서는 따라서 더 작은 완전 정밀도 모델보다 더 큰 양자화 모델을 선호하는 것이 권장된다: 7B-4bit는 수용 가능한 세 가지 구성 중 최고의 정확도와 최고의 불확실성 신호(내부 AUROC 0.98)를 모두 제공한다. 결과를 선택적 예측(selective-prediction) 운영 지점으로 구성하여 배포 권고로 직접 전환할 수 있게 하며, 두 신호 간 차이를 드러내는 지표는 보정 오차가 아니라 오류 탐지 AUROC라고 주장한다.
대규모 언어 모델(LLM)은 도메인, 주제 난이도, 언어적 스타일에 따라 구조화된 이질적인 집단을 대상으로 한다. 컨포멀 리스크 제어(CRC)는 기권(abstention)을 포함한 선택적 예측에 대해 엄밀한 주변(marginal) 리스크 보장을 제공하지만, 주변 보장이 그룹별 보장을 의미하지는 않는다. 모델은 전체 모집단 예산을 충족하면서도 하위 그룹에 체계적으로 과도한 오류 노출을 일으킬 수 있다. 그룹 구성의 경미한 변화(shift) 하에서 표준 CRC는 최대 47%의 시행에서 예산을 위반한다. 우리는 사용자가 정의한 그룹 계층의 모든 노드에 걸쳐 동시 리스크 보장을 강제하는 사후(post-hoc) 보정 프레임워크인 HG-CRC(Hierarchical Group-Conditional CRC)를 제안한다. 이는 노드에 대한 Bonferroni 보정과, 적용 가능한 가장 구체적인 임계값을 사용하는 leaf-first 정책을 적용하며, 더 세분화된 노드가 미인증(uncertified)이거나 예시를 거부할 때는 더 거친(coarser) 노드로 대체(fallback)한다. 재학습 없이 보류(hold-out) 보정 세트만 필요하다. 세 가지 모델(Qwen3-4B, Llama-3.1-8B-Instruct, Gemma-3-4B)과 두 벤치마크(ARC Challenge, MMLU-Pro)에 대해, IID 일반화, 이질성, 혼합/도메인/프롬프트/난이도 변화, 레이블 노이즈, 양자화를 탐구하는 여덟 가지 구성으로 평가한다. 주요 결과: HG-CRC는 고정확도 모델(Qwen3-4B, Llama-3.1-8B)에 대해 ARC Challenge에서 경험적 위반율 0%와 WGER=0에 도달한다. 500회 부트스트랩 시행에서 이 0값들은 경험적 상한(실제 비율 최대 0.6%)이며, 인증(certified)된 것은 아니다. 결과는 벤치마크별로 다르다. MMLU-Pro에서는 이 모델들이 전면 기권하거나(Llama) WGER=0.014를 유지한다. 여기서 보정이 잘 되지 않은 Gemma-3-4B는 기권을 통해 우아하게 성능이 저하된다. 전역 CRC 대비 참여(participation) 비용은 22~37%p이다. ablation은 계층적 깊이가 예산을 충족함을 보여준다. 난이도 수준을 제거하면 위반이 약 11%로 되돌아간다. Bonferroni는 이론적 보장에 필요하지만, 그 경험적 효과는 노드가 많을 때만 중요하다.
깊은 학습 기반 시선 추정은 통제된 촬영 환경에서는 잘 동작하지만, 비제약 환경에서는 성능이 저하되며, 이러한 환경에서는 시스템이 신뢰할 수 없는 예측을 거부해야 한다. 단일 패스(single-pass) 불확실성(예: 이분산 회귀(heteroscedastic regression))은 명시적인 입력 유효성 단서 없이 픽셀로부터 불확실성을 추론하는 반면, 샘플링 기반 방법은 실시간 사용에 너무 비용이 많이 드는 경우가 많다. 우리는 불확실성을 해석 가능한 이미지 품질 실패 모드와 정렬하는 교사-학생(teacher-student) 프레임워크인 Factor-Informed Uncertainty Distillation(FIUD)를 제안한다. 그래디언트 부스팅(gradient-boosting) 교사는 조명, 선명도, 눈 가시성, 대칭성과 같은 요인으로부터 예상 시선 오차를 예측하고, 신경망 학생은 커리큘럼 학습(curriculum learning)과 순위(ranking) 감독을 통해 이러한 신호를 경량 단일 패스 불확실성 헤드로 증류한다. ETH-XGaze, Gaze360, MPIIFaceGaze(30만 개 이상 샘플)에서 FIUD는 결정론적 및 샘플링 기반 베이스라인 대비 불확실성, 오차 순위 상관, 선택적 예측(selective prediction)을 개선하며, 비제약 환경에서 가장 큰 향상을 보인다.
동일한 입력에 대해 동일한 LLM 에이전트를 실행하면 10회 실행당 2.3-4.2개의 서로 다른 행동 시퀀스가 생성되며, 이러한 행동적 변이는 학습 없이 블랙박스 방식의 불확실성 신호를 구성하여 에이전트 시스템에 대한 선택적 분류 및 분포 독립적 calibration를 구현한다. 4개 모델에 대한 200개 HotpotQA 질문에서 총 8,000회 실행에 걸쳐, 일관된 작업(고유 경로가 최대 2개)은 82-87%의 정확도를 달성하는 반면, 비일관적인 작업(경로가 4개 이상)은 41-65%의 정확도를 달성하며, 이 격차는 작업 난이도에 대한 통제를 적용한 후에도 유지된다. 분기는 2단계에 집중되며(Llama 작업의 50.5%), 일관성 지표는 AUROC 0.62-0.78로 실패를 탐지한다. 이 신호를 활용하면, 선택적 예측(k=3회 실행이 일치할 때만 답변)은 54-62% 커버리지에서 87-88%의 정확도를 달성하며, 단일 실행 기준선 대비 6-14%p의 향상을 이루고, 보류 calibration 집합 없이 split-conformal 기준선과 동등한 성능을 보인다. SWE-bench에 대한 교차 벤치마크 검증(50개 작업, 1,000회 실행)은 일관성 계층을 유지하면서 모델 간 평균 궤적 길이에서 약 8배의 편차를 보여주며, 부트스트랩 분석은 단일 실행 평가가 29.3%의 경우 모델 순위를 잘못 매긴다는 것을 보여준다.
대규모 언어 모델(LLM)은 질의응답(QA) 시스템에 점점 더 많이 배포되고 있으나, 신뢰할 수 있는 신뢰도 추정 없이 환각(hallucination)되거나 정렬(alignment)되지 않은 응답을 생성할 수 있다. 불확실성 정량화(UQ)는 선택적 답변의 자연스러운 기반을 제공하는데, 이는 시스템이 예측이 신뢰 가능하다고 판단될 때만 답변하고 그렇지 않으면 답변을 거부하는 방식이다. 그러나 LLM을 위한 기존 불확실성 점수는 흔히 휴리스틱에 의존한다. 이러한 점수에 대해 선택된 임계값만으로는 수락된 답변의 오류율에 대한 통계적 보장을 제공하지 않는다. 본 논문에서는 임의의 불확실성 점수를 위험 제어 선택적 답변 규칙으로 변환하는 신뢰 구간 기반 캘리브레이션 프레임워크인 CIC를 제안한다. 보류된 캘리브레이션 세트가 주어지면, CIC는 응용 프로그램별 정렬 기준을 사용하여 각 생성된 응답을 평가하고 불확실성 점수 및 이진 오류 레이블과 연결한다. 각 후보 불확실성 임계값에 대해 CIC는 수락 조건부 오류율을 추정하고 Hoeffding 방식 또는 Clopper-Pearson 신뢰 구간을 사용하여 높은 확률의 상한 신뢰 경계를 구성한다. 그런 다음 CIC는 상한이 사용자 지정 위험 수준 $α$ 아래에 있는 가장 큰 임계값을 선택함으로써, 유한 표본 신뢰성 제약 하에서 답변율을 최대화한다. 교환 가능성 하에서 CIC는 확률 최소 $1-δ$로, 선택된 임계값이 null이 아닌 경우 수락된 답변의 오류율을 수준 $α$에서 제어함을 보장한다. 우리는 CIC를 7개의 LLM과 여러 불확실성 추정기에 걸쳐 폐쇄형 및 개방형 QA 벤치마크 모두에서 평가한다. 실험 결과, CIC는 강력한 답변 효율성을 유지하면서 유효한 위험 제어를 일관되게 달성하여, 신뢰성이 중요한 QA 워크플로에서 LLM을 배포하기 위한 실용적이고 통계적으로 근거 있는 메커니즘을 제공함을 보인다.
안전 중요 분류(safety-critical classification)에서 실패 비용은 종종 비대칭적이지만, 베이지안 심층 학습(Bayesian deep learning)은 인식론적 불확실성(epistemic uncertainty)을 단일 스칼라 값인 상호 정보량(MI)으로 요약하여, 모델의 무지가 양성(benign) 클래스에 관한 것인지 안전 중요(safety-critical) 클래스에 관한 것인지 구별하지 못합니다. 우리는 MI를 클래스별 벡터 $C_k(x)=σ_k^{2}/(2μ_k)$로 분해하며, 여기서 $μ_k{=}\mathbb{E}[p_k]$와 $σ_k^2{=}\mathrm{Var}[p_k]$는 사후 샘플(posterior samples)에 대한 평균과 분산입니다. 이 분해는 엔트로피(entropy)의 2차 테일러 전개(second-order Taylor expansion)에서 유도되며, $1/μ_k$ 가중치는 경계 억제(boundary suppression)를 보정하여 희소 클래스와 빈번한 클래스 간에 $C_k$를 비교 가능하게 만듭니다. 구조상 $\sum_k C_k \approx \mathrm{MI}$이며, 이와 함께 제공되는 왜도(skewness) 진단은 근사가 저하되는 입력을 식별합니다. $C_k$의 공리적 성질을 특성화한 후, 우리는 세 가지 작업에서 이를 검증합니다: (i) 당뇨망막병증(diabetic retinopathy)에 대한 선택적 예측(selective prediction), 여기서 중요 클래스(critical-class)의 $C_k$는 MI 대비 34.7%, 분산 기준선(variance baselines) 대비 56.2% 선택적 위험(selective risk)을 감소시킵니다; (ii) 임상 및 이미지 벤치마크에서의 분포 외(out-of-distribution) 탐지, 여기서 $\sum_k C_k$는 최고의 AUROC를 달성하고 클래스별 관점은 MI에서는 보이지 않는 비대칭적 변화를 드러냅니다; (iii) 제어된 라벨 노이즈(label-noise) 연구, 여기서 $\sum_k C_k$는 엔드투엔드 베이지안 학습(end-to-end Bayesian training) 하에서 주입된 알레아토릭 노이즈(aleatoric noise)에 대해 MI보다 덜 민감한 반면, 두 지표 모두 전이학습(transfer learning) 하에서는 성능이 저하됩니다. 모든 작업에 걸쳐, 사후 근사(posterior approximation)의 품질은 지표 선택만큼 강력하게 불확실성을 결정하며, 이는 네트워크를 통해 불확실성이 어떻게 전파되는지가 측정 방법만큼이나 중요하다는 것을 시사합니다.
농업 및 환경 응용과 관련된 토양 특성은 전통적으로 물리적·화학적 처리를 수반하는 정교한 실험실 방법으로 측정된다. 이러한 전통적 방법은 매우 정확하지만 비용이 많이 들고 시간이 오래 걸린다. 반면, 광학 분광법과 머신러닝을 결합하면 여러 토양 특성을 빠르고 비용 효율적으로 예측할 수 있다. 그러나 분광 모델링은 토양 특성과 개별 시료에 따라 예측 정확도가 달라지므로 종종 신뢰할 수 없는 것으로 여겨진다. 비용과 신뢰성 사이의 이러한 절충을 맞추기 위해, 본 연구는 확률적 모델링과 불확실성 기반 거부(uncertainty-guided rejection)를 결합한 AI 기반 측정 프레임워크인 reject-to-remeasure를 제안한다. 이 프레임워크에서 토양 시료는 먼저 분광법으로 분석한 뒤, 예측 불확실성이 사전에 정의된 품질 제약을 초과하면 해당 예측을 거부한다. 거부된 시료는 이후 전통적인 실험실 절차로 재측정된다. Québec 지역의 가시광-근적외선(visible-near-infrared) 분광 토양 라이브러리에서, 최신 파운데이션 모델(foundation model)(TabPFNv2.5 및 TabICLv2)을 사용한 reject-to-remeasure가 사용자 정의 정확도 요구사항을 충족하고 측정 비용을 줄이면서 광학 분광법을 일상적인 실험실 워크플로에 통합하는 것을 가능하게 함을 보여준다.
대규모 언어 모델과 비전-언어 모델에서의 환각(hallucination) 탐지는 점점 선택적 예측(selective prediction)의 틀로 이해되며, 여기서 탐지기는 신뢰도 점수를 부여하고 신뢰도가 낮을 때는 답변을 거부한다. 비지도 샘플링 탐지기(Semantic Entropy)는 라벨 없이 동작하지만 품질이 한계에 머무르는 반면, 지도 학습 프로브는 분포 내(in-distribution) 점수에서는 더 강하지만 보정(calibration) 라벨이 부족할 때 급격히 성능이 저하된다. 우리는 은닉 상태 생성 궤적의 6차원 운동학적 특징 맵 위에 구축한 커널 밀도 추정의 밀도 리지(density ridge)로 LLM의 응답 매니폴드를 복원한다. 테스트 생성은 투영된 특징점에서 가장 가까운 리지 정점까지의 유클리드 거리에 음수를 취한 값으로 점수화되며, 이는 확률적 출력 분포의 저차원 기하적 골격을 제공한다. 우리는 의도적으로 라벨이 부족한 프로토콜($n_{\text{cal}}=200$개 쿼리, $N=5$개 생성) 하에서 8개의 텍스트 및 비전 LLM을 사용하여 6개 QA 벤치마크(HaluEval-QA, TriviaQA, GSM8K, POPE, ScienceQA, A-OKVQA)에서 Semantic Entropy, 위상적 방법, 로그 확률과 비교 평가한다. 우리의 리지 기반 점수는 AUROC에서 5~20포인트의 향상을 보이며, 보정 라벨 부족 하에서도 완만한 성능 저하를 나타낸다.