SPUQ: Perturbation-Based Uncertainty Quantification for Large Language Models
원문 초록
In recent years, large language models (LLMs) have become increasingly prevalent, offering remarkable text generation capabilities. However, a pressing challenge is their tendency to make confidently wrong predictions, highlighting the critical need for uncertainty quantification (UQ) in LLMs. While previous works have mainly focused on addressing aleatoric uncertainty, the full spectrum of uncertainties, including epistemic, remains inadequately explored. Motivated by this gap, we introduce a novel UQ method, sampling with perturbation for UQ (SPUQ), designed to tackle both aleatoric and epistemic uncertainties. The method entails generating a set of perturbations for LLM inputs, sampling outputs for each perturbation, and incorporating an aggregation module that generalizes the sampling uncertainty approach for text generation tasks. Through extensive experiments on various datasets, we investigated different perturbation and aggregation techniques. Our findings show a substantial improvement in model uncertainty calibration, with a reduction in Expected Calibration Error (ECE) by 50\% on average. Our findings suggest that our proposed UQ method offers promising steps toward enhancing the reliability and trustworthiness of LLMs.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
수술 전 다중 모달 데이터를 이용한 정밀·포괄적 뇌종양 진단을 위한 비전-언어 파운데이션 모델
A Vision-Language Foundation Model for Precise and Comprehensive Brain Tumor Diagnosis from Preoperative Multimodal Data
BrainVLM을 개발하여 세계보건기구(WHO) 2021 분류의 12가지 뇌종양 유형을 모두 분류한다. BrainVLM은 예측 신뢰도를 나타내기 위한 불확실성 정량화(uncertainty quantification) 전략과 임상적 근거를 설명하기 위한 방사선학 보고서 생성 모듈을 통합한다. BrainVLM은 40,043명으로부터 수집한 다중 모달 데이터(MRI 스캔, 인구통계학적 정보, 방사선학 보고서)로 학습되었다. 병리학적으로 확인된 뇌종양 환자 5,211명에서 검증하였으며, 여기에는 주요 병원의 hold-out 환자 3,877명과 11개 독립 병원의 환자 1,334명이 포함된다. 또한 AI-임상의 워크플로에서의 임상적 유용성을 검증하기 위해 두 가지 개념 증명(proof-of-concept) 연구를 수행하였다. 1) 경험 수준이 다양한 12명의 신경방사선과 의사가 248건의 후향적 사례를 AI 지원 유무에 따라 해석한 맹검 다독자(multireader) 연구, 2) 수술 전 1,009명의 환자를 BrainVLM과 방사선과 의사가 각각 독립적이고 맹검적으로 평가한 실세계 전향적 연구이다. 추가로 632명의 다기관 코호트를 이용하여 성인형 diffuse glioma의 수술 전 분자 아형(subgroup) 예측에서 BrainVLM의 유용성을 입증하였다. 주요 평가에서 BrainVLM은 macro-AUC 0.85(95% CI: 0.84-0.86)와 F1 점수 0.82(95% CI: 0.81-0.83)를 달성하여 신경방사선과 의사(F1 = 0.80(95% CI: 0.79-0.81))를 능가하였다. 11개 센터에 걸친 외부 검증에서 BrainVLM은 AUC = 0.80(95% CI: 0.79-0.82) 및 F1 = 0.75(95% CI: 0.73-0.78)를 달성하였고, 신경방사선과 의사는 F1 = 0.71(95% CI: 0.69-0.73)이었다. 전향적 실세계 평가에서 BrainVLM은 신경방사선과 의사와 유사한 수준의 성능을 유지하였다.
사고의 연쇄(Chain-of-Thought) 엔트로피는 무엇을 측정하는가? 스캐폴딩, 라우팅, 콘텐츠에 대한 채널 감사
What Does Chain-of-Thought Entropy Measure? A Channel Audit of Scaffolding, Routing, and Content
사고의 연쇄 토큰에 대한 엔트로피는 어떤 토큰이 정책 그래디언트를 받는지, 어떤 토큰이 가지치기되는지, 한 실행(run)이 붕괴했는지를 결정하지만, 이러한 각 통계량은 세 가지 선택—연결 스캐폴딩(connective scaffolding)을 낼지 여부, 어떤 연결어를 쓸지, 실질적(substantive) 후속이 무엇이어야 하는지—를 섞은 다음 토큰(next-token) 분포를 읽는다. 스캐폴드 어휘 부분집합을 지정하면 엔트로피, Kullback–Leibler(KL) 발산, 소프트맥스 정책의 1차 엔트로피 속도(velocity)에 대해 이 세 가지를 정확히 분리한다. 우리는 raw 규약과 content 규약이 명시적 개 영역(open region)에서 어느 위치가 더 큰 분기(fork)인지에 대해 불일치함을 증명하고, 답 다양성(answer diversity)을 콘텐츠 채널(content channel)과 측정된 witness가 보증하는 leakage 항(leakage term)으로 상한(bound)한다. 23가지 구성(configuration) 전반에서 스캐폴드 측은 raw 고엔트로피 집합의 최대 41%를 차지한다. matched-tokenizer ladder에서는 coupling이 math-corpus 단계에서만 바뀌는 반면, 스캐폴드의 엔트로피 점유율은 지식 증류(distillation)를 거치며 계속 커진다. 한 채널 상관(correlation)으로부터의 닫힌 형(closed-form) 예측은 피팅 없이(unfitted) 54포인트 구간의 선택 유지(selection retention)를 5포인트까지 추적한다. 압축(compression)에서는 content 규약이 모든 셀(cell)에서 raw surprisal을 능가한다. 답 leakage 감사(audit)는 우리 자신의 헤드라인 대조(headline control)를 바로잡는다. 재투입(re-fed)된 사고의 연쇄는 재진술된 답(restated answers)으로 정확도의 4분의 1에서 절반을 얻으며, 이를 제거하면 어떤 토큰 스코어러(token scorer)도 무작위 연속 블록(random contiguous block)을 이기지 못한다.
믿을 수 있는 AI를 위한 진실성: 공학적으로 구현 가능한 태도로서의 의구심 표현, 출처 추적, 신념 수정
Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance
대화형 에이전트(agent)는 흔히 답변을 일률적으로 확신에 찬 어조로 표현한다. 우리는 표현된 불확실성, 출처 인식 기반 주장(provenance-aware assertion), 명시적 신념 수정(belief revision)을 고정된 언어 모델 위의 행동 층(behavior layer)으로 구현할 수 있는지 검증한다. 다만 신뢰성(believability)이나 신뢰(trust) 자체는 검증하지 않는다. 이 층은 세 가지 인식적 상태(epistemic state), 주장별 신뢰도(confidence)와 유형화된 출처(typed provenance), 출처 기반 게이팅 표현 규칙(provenance-gated expression rule), 그리고 감사 가능한 확인 응답(acknowledgment)과 잘못된 정정에 대한 부분적 저항을 갖춘 영속적 수정 저장소(revision store)를 결합한다. 우리는 합성 모델과 Qwen2.5-0.5B-Instruct를 사용하여, 직접 구성하고 기계적으로 채점하는 다중 세션 벤치마크에서 이를 평가한다. 합성 도구(synthetic instrument)는 다섯 가지 검사를 모두 통과한다. 실제 모델에서는 설계상 보장되는 확인 응답의 건전성(acknowledgment soundness)이 100%의 사례에서 성립하며, 올바른 정정이 잘못된 정정보다 더 자주 수용된다(보유 중인 신념에서 0.44 대 0.15, 보유하지 않은 사실에 대해 규칙이 수용한 정정을 포함하면 0.875 대 0.420). 그러나 사전에 지정한 표현 충실도(expression-fidelity), 모순 분리(contradiction-separation), 출처(provenance) 기준치(margin)는 충족하지 못한다. 사후(post hoc) 분석 결과를 공개하면, 평균 답변 토큰 확률에 기반한 표현 게이팅은 종단 간(end to end)으로 정답 여부를 무작위 수준보다 낮게 순위화하는 반면(AUC 0.41, 대화 단위 군집화), 샘플링 일관성(sampling consistency)에 기반한 게이팅은 판별력을 보인다(AUC 0.66). 이 결과를 바탕으로 선택한 일관성 게이팅 구성을 별도로 확정한 프로토콜에 따라 평가한 결과, 대화 수준의 조작(manipulation) 기준과 능력 동등성(capability-equivalence) 기준을 충족하였고, 다시 추출한 대화 집합에서도 재현되었다. 다만 조작 결과는 선택에 의존적이며, 불확실성을 60개의 사실 단위로 군집화하면 두 기준 모두 결론이 나지 않는다. 뒷받침되는 결론은 설계상 보장되는 감사 보장(audit guarantee), 저장소에 의존하는 부분적 정정 판별, 그리고 토큰 확률 게이팅이 해당 벤치마크와 모델에서 실패한다는 점으로 한정된다. 사람 평가에 앞서 사실 기반(fact base)의 규모 확장이 필요하다.
확산에서 신뢰도의 한계
Limits of Confidence in Diffusion
remasking 및 uniform-state sampler를 포함한 이산 확산(discrete diffusion)은 매 스텝마다 여러 토큰 위치에 기록하며, 각 위치는 위치별 분포에서 샘플링하고 어떤 위치를 기록할지도 동일한 분포들로부터 선택하는 방식으로 시퀀스를 생성한다. 픽셀, 음소, 단어 등 일반적인 관심 영역에서는 토큰 간 본질적인 종속성이 존재한다. 우리는 한 스텝이 학습 분포와 일치하는 것은 그 스텝이 기록하는 위치들이 이미 고정된 토큰들이 주어졌을 때 조건부 독립일 때에만 해당함을 보이고, 위치별 분포의 곱은 종속적인 그룹과 일치할 수 없으며, 위치별 분포가 그룹의 종속 여부를 결정하지 않음을 보인다. 두 결합 분포가 동일한 위치별 주변 분포를 가지면서도 어떤 값 조합이 발생하는지는 달라질 수 있다. 결합 분포를 폐형식으로 알 수 있는 합성 과제 ScanAndAdd에서, confidence ranking이 기록하는 미정 위치 두 개 이상의 모든 그룹이 종속임을 검증하고, 생성 분포의 총 변동(total variation)을 샘플링 노이즈 바닥의 $29\times$로 측정한 반면 샘플당 지표는 $1.0$이다.
Pinocchio: 블랙박스 언어 모델을 위한 빠른 불확실성 추정
Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models
대규모 언어 모델(LLM)을 활용하는 중대한 의사결정 응용 분야에서 실무자는 정확한 LLM뿐만 아니라 예측에 대한 불확실성 추정(uncertainty estimate)도 필요로 합니다. 기존의 LLM 불확실성 추정 방식은 모델이 출력하는 로그 확률(log-probability)에 접근할 수 있거나 미세조정(fine-tuning) 권한이 있어야 합니다. 그러나 다수의 산업용 LLM 제품은 비공개 소스 API 모델을 사용하며, GPT와 같은 많은 API 모델은 로그 확률을 반환하지 않고 미세조정을 허용하지 않을 수도 있습니다. 본 논문에서는 블랙박스 API 모델의 응답 정확도를 추정하는 외부 캘리브레이터(calibrator)인 Pinocchio를 소개합니다. 7개 LLM의 응답으로 공동 학습된 Pinocchio는 동일한 모델들의 홀드아웃(held-out) 응답에 대한 정확도 예측에서 0.862 AUROC를 달성하며, 8개 기관의 13개 미확인 모델에 대해서도 제로샷(zero-shot) 전이 성능을 보여줍니다. 본 모델은 불확실성 추정을 생성하기 위해 단 한 번의 순전파(forward pass)만 필요로 하며, 대상 모델의 로짓(logits), 가중치, 내부 상태에 대한 접근을 전혀 요구하지 않습니다. 경량 텍스트 전용 0.8B 체크포인트는 가장 큰 모델의 AUROC와 대등한 성능을 보입니다. 단 두 줄의 추가 코드만으로 기존 저장소에 불확실성 추정을 추가할 수 있는 코드를 공개합니다.
DeepLook: 선행 탐색(Lookahead)을 통한 더 깊은 사고
DeepLook: Deeper Thinking with Lookahead
추론 시점 스케일링(inference-time scaling)은 대규모 언어 모델의 추론 능력을 향상시키는 강력한 패러다임으로 부상했으며, 어려운 추론 과제에서는 종종 매개변수 스케일링만으로 얻는 것보다 더 큰 이득을 제공한다. 그러나 기존 접근법은 추론 궤적 내에서 연산을 할당하는 방식이 여전히 비효율적이다. 추론 실패가 잘못된 답이 명시적으로 드러나기 전에 불확실성이 조기에 나타나는 경우가 많다는 관찰에 동기를 부여받아, 우리는 DeepLook을 제안한다. DeepLook은 학습 없이 모니터링하고 개입하는 디코딩 프레임워크로, 불확실성 병목 지점에 선행 탐색(lookahead) 연산을 집중한다. DeepLook은 토큰 수준의 신뢰도를 구간 수준 신호로 집계하고, 최근 이력 대비 신뢰도가 하락할 때 트리거되며, 고정 수평선 선행 탐색으로 후보 연속을 탐색한다. 분기는 롤아웃 연속에 대한 구간 수준 신뢰도의 평균인 평균 선행 탐색 신뢰도(Average Lookahead Confidence, ALC)로 순위를 매기고, 가지치기한 뒤 투표를 통해 집계한다. DeepSeek-R1-8B, Qwen3-32B, GPT-OSS-20B, GPT-OSS-120B에 걸친 4개의 경쟁형 수학 벤치마크에서 DeepLook은 정확도-토큰 비용 파레토 프론티어를 이동시킨다. 16개 설정 중 11개에서 DeepConf-low 대비 정확도를 개선하면서, 평균적으로 데이터셋 수준 토큰 생성을 87.3% 줄였으며, Qwen3-32B에서 AIME25 +3.1, GPT-OSS-20B에서 BRUMO25 +8.8의 향상을 포함한다. 이러한 결과는 선택적이고 미래를 고려한 개입이 완전한 추론 궤적을 균일하게 스케일링하는 것보다 실질적으로 더 강한 정확도-비용 트레이드오프를 제공함을 보여준다. 코드는 여기에서 이용 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.