arXiv:2610.02887v1 cs.CV

인과-불변 마스킹을 통한 멀티모달 대규모 언어 모델(MLLM)의 인식론적 불확실성 규명

Revealing Epistemic Uncertainty in MLLMs via Causal-Invariant Masking

Haoyang Luo, Linwei Tao, Jie Gui, Xinghao Chen, Chang Xu, Jianyuan Guo, Minjing Dong

제출 2026-10-02

저자 비고

arXiv Comments

Accepted by NeurIPS 2026

한국어 초록

멀티모달 대규모 언어 모델(MLLM)은 환각(hallucination) 문제를 겪고 있어, 신뢰할 수 있는 배포를 보장하기 위한 불확실성 정량화(UQ)의 필요성이 매우 중요해졌습니다. 그러나 기존 접근 방식들은 특히 질의 관련 신호가 약할 때 피상적인 연관성으로 인해 발생하는 불확실성을 감지하는 데 어려움을 겪습니다. 본 논문에서는 이러한 문제가 주로 모델의 한계에서 기인하는 인식론적 불확실성(epistemic uncertainty)을 간과하고 데이터의 모호성에서 비롯되는 우연적 불확실성(aleatoric uncertainty)에 편향된 바이어스(bias) 때문이라고 설명합니다. 포괄적인 UQ를 위해 불확실성의 유형을 추가로 분해하고자, 원래 예측과 인과적으로 집중된 뷰에 조건화된 예측 간의 의미론적 변화(semantic shift)를 측정하는 인과-불변 마스킹(CIM)을 제안합니다. 이 프레임워크를 기반으로, UQ를 위한 핵심 지표로서 의미론적 발산(Semantic Divergence)을 도입하고, 이것이 비인과적 상관관계에 대한 모델 민감도의 분산으로 수렴함을 이론적으로 입증하여 MLLM의 한계를 포착하는 능력을 입증합니다. MLLM에서 UQ 속도를 가속하기 위해, 초구체(hyperspherical) 임베딩 공간 내에서 의미론적 변화를 직접 추정하는 빠른 기하학적 대리지표인 기대 임베딩 표류(EED)를 추가로 제안합니다. 실험 결과는 우리의 방법이 다양한 벤치마크에서 최고 성능을 달성하는 동시에, 제안된 EED를 통해 유사한 성능을 유지하면서 속도를 약 50% 가속함을 보여줍니다.

원문 초록

Multimodal Large Language Models (MLLMs) suffer from hallucinations, creating a critical need for Uncertainty Quantification (UQ) to ensure reliable deployment. However, existing approaches struggle to detect uncertainty caused by superficial associations, especially when the query-relevant signal is weak. We mainly attribute this issue to their bias toward aleatoric uncertainty arising from data ambiguity, overlooking epistemic uncertainty stemming from model limitations. To further decompose uncertainty types for a comprehensive UQ, we propose Causal-Invariant Masking (CIM), which measures the semantic shift between the original predictions and those conditioned on a causally-focused view. Based on this framework, we introduce Semantic Divergence as our core metric for UQ and provide theoretical evidence that it converges to the variance of model's sensitivity to non-causal correlations, establishing its ability to capture MLLM's limitation. To accelerate UQ in MLLMs, we further propose Expected Embedding Drift (EED), a fast geometric proxy metric that estimates semantic shift directly within the hyperspherical embedding space. Experiments show that our method achieves state-of-the-art performance on various benchmarks, while the proposed EED accelerates by nearly 50% with comparable performance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02887v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27144v2cs.LG공통 태그 Causal Inference, Uncertainty Quantification

미관측 교란 변수에 강건한 위험 점수 학습

Learning Risk Scores Robust to Unobserved Confounders

미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.

arXiv:2610.15742v1cs.CV공통 태그 Uncertainty Quantification, Hallucination

RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리

RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification

멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.

arXiv:2610.15789v1stat.ML공통 태그 Causal Inference, Uncertainty Quantification

적응적 실험에서 정책 개선 가치에 대한 추론

Inference on the Value of Policy Improvement in Adaptive Experiments

본 논문에서는 적응적으로 수집된 데이터 환경에서 정책 개선 가치(VPI, Value of Policy Improvement)에 대한 점근적 정규 추정량(asymptotically normal estimator)을 개발합니다. 특정 군집 내 최적 처치 정책의 가치와 기준선(baseline) 정책 가치 간의 격차로 정의되는 이 값은 맞춤형 처치 정책을 도입할 가치가 있는지 여부를 측정합니다. VPI에 대한 추정량을 구축하는 것은 고정된 정책의 가치를 추정하는 것보다 본질적으로 더 어렵습니다. 이는 적응적 실험과 연관된 상관 데이터 및 감소하는 성향(decaying propensities)을 다루어야 할 뿐만 아니라, 최적 정책이 유일하지 않을 때 기저 피추정량(estimand)의 비정칙성(non-regularity) 또는 경로별 미분 불가능성(lack of pathwise differentiability)도 모든 추정량이 함께 처리해야 하기 때문입니다. 본 연구에서 제안하는 추정량은 과거 데이터에 대해 가중 경험적 후생 극대화(weighted empirical welfare maximizing) 정책을 순차적으로 적합한 후, 미래 샘플에 대해 역성향 가중치(inverse propensity weighting)를 적용하여 이를 평가하는 방식으로 작동합니다. 우리는 최적 정책이 유일하다고 가정하지 않으며, 기저의 이질적 처치 효과에 대한 마진(margin) 가정도 두지 않습니다. 추정량 분석의 핵심적인 난점은 정책 학습을 통해 발생하는 후회(regret)가 추정량의 표준 오차보다 점근적으로 작음을 보이는 것입니다. 우리는 감소하는 성향 조건 하에서 정책 학습의 더 빠른 후회율(regret rate)을 입증함으로써 이를 달성하였으며, 이는 독립적으로도 유의미한 가치를 지닐 수 있습니다. 합성 및 준합성 데이터의 혼합을 통해 추정량의 포함 확률(coverage)을 평가할 뿐만 아니라, Caria 등이 요르단에서 진행한 구직 지원 프로그램의 효과 평가 적응적 실험에서 VPI를 추정하는 데에도 이를 적용합니다. 본 연구의 추정치는 최적 정책이 유일하다고 가정한 이들의 계층적 베이지안(hierarchical Bayesian) 분석 결과보다는 전반적으로 보수적이지만, 여전히 시리아 난민 집단 내에서 개인화가 지닌 이점을 입증합니다.

arXiv:2610.13821v1cs.CL공통 태그 Uncertainty Quantification, Hallucination

언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택

Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection

유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.

arXiv:2610.03482v3cs.CL공통 태그 Uncertainty Quantification, Hallucination

페르시아어 의료 언어 모델의 주장 단위 환각 탐지를 위한 단일 패스 불확실성 헤드

Single-Pass Uncertainty Heads for Claim-Level Hallucination Detection in Persian Medical Language Models

환각(hallucination) 탐지는 의료 언어 모델에서 특히 중요하지만, 반복 샘플링 접근법은 계산 비용이 많이 듭니다. 더 빠른 대안은 동결된 생성기의 내부 신호로부터 환각 위험을 예측하는 단일 패스(single-pass) 불확실성 헤드입니다. 기존 불확실성 헤드는 백본(backbone) 특화 특징과 토큰화를 사용하므로 백본이나 언어가 변경될 때 적응이 필요합니다. 본 연구에서는 168개 문항의 이란 의대 입학시험을 대상으로 두 페르시아어 의료 모델인 Gaokerena-V와 Gaokerena-R을 조사합니다. 문항당 5회 생성 전반에서 Med-Gemma가 168개 문항 모두에서 동일한 선택지를 생성한 것과 비교해 Gaokerena-V는 14개 문항, Gaokerena-R은 37개 문항에서만 동일한 선택지를 생성하여 Gaokerena 모델들에서 상당한 응답 가변성이 있음을 나타냈습니다. 이에 따라 본 연구는 LLM Uncertainty Head(LUH) 프레임워크를 이러한 모델에 맞게 적응시키고 백본당 1,600개의 응답으로 구성된 두 쌍의 주장 단위(claim-level) 환각 데이터셋을 페르시아어로 직접 구축합니다. 동결된 백본의 어텐션 맵과 토큰 확률을 기반으로 경량 헤드를 학습합니다. 보류된 테스트 분할(held-out test split)에서 헤드는 각각 무작위 베이스라인의 2.30배 및 2.66배에 해당하는 0.4820과 0.4652의 PR-AUC를 달성하며, ROC-AUC는 0.7852와 0.7810을 달성합니다. 결과로 도출된 탐지기는 추론 시 검색이나 반복 샘플링을 모두 필요로 하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.