증거 기반 딥러닝(EDL) 학습이 온도 조절 의사우도(pseudo-likelihood)를 쓰는 계층 베이즈 모델의 상각화 변분 추론(amortized variational inference)에 해당함을 보이고, 표준 EDL이 OOD 입력에서 인식론적·우연적 불확실성을 혼동해 과신하는 한계를 지적한다. 이를 위해 조건부 레이블 분포와 공변량(covariate) 밀도를 분리 추정하는 DIP-EDL을 제안해 고밀도 영역의 증거는 유지하면서 OOD 예측은 균등 사전(prior)으로 수축시키며, 분포 이동(distributional shift) 하에서 해석성·견고성·불확실성 보정(calibration)을 개선한다.
대규모 언어 모델(LLM)이 점점 더 긴 출력을 생성함에 따라, 효과적인 불확실성 추정은 전체 응답을 폐기하는 대신 세밀한 수준에서 오류를 식별해야 한다. 이러한 방법들이 존재하지만, 어떤 해상도(토큰 단위부터 전체 생성물)에서든 불확실성을 평가하는 것은 어렵고 레이블 불완전성에 매우 민감하여, 노이즈가 없는 벤치마크가 필수적이다. 그러나 장문 생성 벤치마크는 결정론적 정답보다 오류 가능성이 있는 레이블에 의존하는 경향이 있다. 우리는 Single-answer Atomic Long-form Target(SALT)을 제안한다. 이는 단일하고 결정론적인 긴 텍스트 정답을 가진 여섯 가지 절차적 생성 태스크로 구성된 벤치마크로, 외부 판정자 없이 정확도, 보정(calibration), 랭킹을 단위 수준에서 평가할 수 있게 한다. SALT를 활용하여 50개 이상의 LLM을 분석한 결과 다음과 같은 핵심 인사이트를 발견했다. 각 불확실성 측면을 지배하는 신뢰도 함수를 식별하였으며, 더 거친 라인 수준 단위에서 보다 명확한 분리가 나타나는 경우에도 원자적(atomic) 해상도에서는 신뢰도 랭킹이 크게 붕괴됨을 보였다. SALT는 또한 생성 전반에 걸쳐 원자 수준의 통제된 개입을 가능하게 하여, 미래 오류의 두 가지 분리 가능한 원인을 밝혀낸다. 하나는 전역 컨텍스트 정확도가 지배하는 손상된 접두사로부터의 전파이며, 다른 하나는 증가하는 답변-컨텍스트 길이로 인한 제한된 성능 저하이다. 마지막으로, 사고의 연쇄(Chain-of-Thought) 프롬프트를 통하거나 학습을 통해 내재화된 추론은 트레이드오프를 유발하여 정확도를 향상시키는 반면 신뢰도 랭킹을 저하시킴을 보인다. 이러한 발견들은 신뢰할 수 있는 오류 식별 및 완화를 요구하는 위험 임계 응용 분야에 직접적인 영향을 미친다.
의료 VQA에 쓰이는 MLLM은 실제 정확도와 무관하게 과신하는 경향이 있어, 이미지·텍스트 perturbation으로 시각 증거와 언어 사전 의존을 분리하는 2×2 요인 설계와 Brier 교정·앵커 정규화·대조적 정렬·KL 안정화를 결합한 복합 손실로 파인튜닝하는 교정 프레임워크를 제안한다. 세 벤치마크와 MedGemma 4B IT·Qwen2-VL 7B Instruct에서 예측 정확도를 유지하면서 교정 오차를 60% 이상 줄이고 판별 능력을 26% 이상 높였으며, 프롬프트·샘플링·학습 기반 기준선을 평균적으로 능가한다.