Seeing and Reasoning with Confidence: Supercharging Multimodal LLMs with an Uncertainty-Aware Agentic Framework
원문 초록
Multimodal large language models (MLLMs) show promise in tasks like visual question answering (VQA) but still face challenges in multimodal reasoning. Recent works adapt agentic frameworks or chain-of-thought (CoT) reasoning to improve performance. However, CoT-based multimodal reasoning often demands costly data annotation and fine-tuning, while agentic approaches relying on external tools risk introducing unreliable output from these tools. In this paper, we propose Seeing and Reasoning with Confidence (SRICE), a training-free multimodal reasoning framework that integrates external vision models with uncertainty quantification (UQ) into an MLLM to address these challenges. Specifically, SRICE guides the inference process by allowing MLLM to autonomously select regions of interest through multi-stage interactions with the help of external tools. We propose to use a conformal prediction-based approach to calibrate the output of external tools and select the optimal tool by estimating the uncertainty of an MLLM's output. Our experiment shows that the average improvement of SRICE over the base MLLM is 4.6% on five datasets and the performance on some datasets even outperforms fine-tuning-based methods, revealing the significance of ensuring reliable tool use in an MLLM agent.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CADER: 긴 동영상 이해를 위한 신뢰도 인식 동적 증거 추론
CADER: Confidence-Aware Dynamic Evidence Reasoning for Long-Video Understanding
긴 동영상 이해는 점점 더 대규모 비전-언어 모델과 도구 증강 추론에 의존하고 있지만, 대부분의 시스템은 난이도와 관계없이 모든 예시에 동일한 추론 절차를 적용한다. 이러한 균일한 전략은 쉬운 질문에 불필요한 도구 보조 처리를 호출하고, 어려운 질문이 세밀한 시간적 증거를 요구할 때 제한적인 제어를 제공한다. 우리는 CADER(Confidence-Aware Dynamic Evidence Reasoning, 신뢰도 인식 동적 증거 추론)를 제안한다. 이는 적응적이고 신뢰할 수 있는 긴 동영상 추론을 위한 학습 없는 프레임워크이다. CADER는 먼저 균일하게 샘플링된 프레임에 대해 전역 추론을 수행하고, 로짓-마진 신호로 답변 신뢰도를 추정하여 높은 신뢰도의 예시가 조기 종료할 수 있게 한다. 불확실한 예시에 대해서는 CADER가 2단계 도구 증강 루프를 활성화한다. 이 루프는 시간적 크롭핑(temporal cropping), 경량 의미 검증, Relevance-Guided Resampling을 결합하여 질문 관련 증거를 점진적으로 국한화한다. 이 설계는 도구 사용을 샘플 수준의 결정으로 취급한다: 단일 전역 패스가 쉬운 경우를 처리하고, 불확실성이 더 많은 증거가 필요함을 시사하는 예시에는 추가 추론을 예약한다. 여러 VideoQA 벤치마크에서의 실험은 CADER가 높은 신뢰도 샘플에 대해 2단계를 우회하면서 긴 동영상 추론을 개선함을 보여준다. 또한 도구 없는 사고의 연쇄(Chain-of-Thought) 지도만으로 학습된 백본에 적용했을 때, CADER는 특화된 도구 증강 프레임워크 대비 경쟁력 있는 성능을 달성하여, 적응적 긴 동영상 추론을 위한 실용적인 추론 시점 경로를 시사한다.
언어 모델 선택적 예측을 위한 계층적 그룹-조건부 컨포멀 리스크 제어
Hierarchical Group-Conditional Conformal Risk Control for Selective Prediction in Language Models
대규모 언어 모델(LLM)은 도메인, 주제 난이도, 언어적 스타일에 따라 구조화된 이질적인 집단을 대상으로 한다. 컨포멀 리스크 제어(CRC)는 기권(abstention)을 포함한 선택적 예측에 대해 엄밀한 주변(marginal) 리스크 보장을 제공하지만, 주변 보장이 그룹별 보장을 의미하지는 않는다. 모델은 전체 모집단 예산을 충족하면서도 하위 그룹에 체계적으로 과도한 오류 노출을 일으킬 수 있다. 그룹 구성의 경미한 변화(shift) 하에서 표준 CRC는 최대 47%의 시행에서 예산을 위반한다. 우리는 사용자가 정의한 그룹 계층의 모든 노드에 걸쳐 동시 리스크 보장을 강제하는 사후(post-hoc) 보정 프레임워크인 HG-CRC(Hierarchical Group-Conditional CRC)를 제안한다. 이는 노드에 대한 Bonferroni 보정과, 적용 가능한 가장 구체적인 임계값을 사용하는 leaf-first 정책을 적용하며, 더 세분화된 노드가 미인증(uncertified)이거나 예시를 거부할 때는 더 거친(coarser) 노드로 대체(fallback)한다. 재학습 없이 보류(hold-out) 보정 세트만 필요하다. 세 가지 모델(Qwen3-4B, Llama-3.1-8B-Instruct, Gemma-3-4B)과 두 벤치마크(ARC Challenge, MMLU-Pro)에 대해, IID 일반화, 이질성, 혼합/도메인/프롬프트/난이도 변화, 레이블 노이즈, 양자화를 탐구하는 여덟 가지 구성으로 평가한다. 주요 결과: HG-CRC는 고정확도 모델(Qwen3-4B, Llama-3.1-8B)에 대해 ARC Challenge에서 경험적 위반율 0%와 WGER=0에 도달한다. 500회 부트스트랩 시행에서 이 0값들은 경험적 상한(실제 비율 최대 0.6%)이며, 인증(certified)된 것은 아니다. 결과는 벤치마크별로 다르다. MMLU-Pro에서는 이 모델들이 전면 기권하거나(Llama) WGER=0.014를 유지한다. 여기서 보정이 잘 되지 않은 Gemma-3-4B는 기권을 통해 우아하게 성능이 저하된다. 전역 CRC 대비 참여(participation) 비용은 22~37%p이다. ablation은 계층적 깊이가 예산을 충족함을 보여준다. 난이도 수준을 제거하면 위반이 약 11%로 되돌아간다. Bonferroni는 이론적 보장에 필요하지만, 그 경험적 효과는 노드가 많을 때만 중요하다.
LININ: Logic Integrated Neural Inference Network for Explanatory Visual Question Answering
불완전한 프록시 보상을 활용한 신뢰할 수 있는 자기 진화
Reliable Self-Evolution with Imperfect Proxy Rewards
대규모 언어 모델(LLM) 기반의 자기 진화 탐색은 과학적 발견을 위한 유망한 접근법입니다. 그러나 일부 영역에서는 모든 후보에 대해 고충실도(high-fidelity) 평가를 수행하는 데 엄청난 비용이 듭니다. 따라서 이러한 환경의 자기 진화 시스템은 비용이 저렴하지만 불완전한 프록시 보상(proxy reward)에 의존하며, 이는 실현 불가능한 후보에 높은 점수를 부여할 수 있습니다. 이러한 위양성(false positive)은 최종 출력뿐만 아니라 후속 세대를 유도하는 데 사용되는 피드백까지 오염시킬 수 있습니다. 이는 보다 신뢰할 수 있는 자기 진화 탐색을 위해 통계적으로 보정된 보상 구간을 도입하는 동기가 됩니다. 본 논문에서는 조건부 등분산 추론(conditional conformal inference)과 반복(iteration)별 온라인 밀도비 추정을 사용하여 후보별 보상 구간을 구성하는 CISE(Conformal Interval-Driven Self-Evolution)를 제안합니다. CISE는 진화적 피드백을 위해 보수적인 구간 기반 보상을 사용하며, 요구되는 모든 속성 구간이 각자의 실행 가능한 영역 내에 완전히 포함될 때만 후보를 반환합니다. 본 연구는 독립성 및 공변량 변화(covariate shift)에 대한 명시적 가정 하에서 고정 반복 커버리지 결과를 도출합니다. 또한 재료과학 분야의 세 가지 자기 진화 탐색 작업에서 CISE를 평가합니다. 실험 결과, 고충실도 평가에서 CISE가 반환한 모든 후보는 진양성(true positive)이었던 반면, 베이스라인들은 더 많은 후보를 반환하지만 위양성을 포함했습니다. 이러한 결과는 다운스트림 검증 예산이 제한적일 때 더 작지만 더 정밀한 후보 목록이 갖는 가치를 강조합니다. 연구 저장소는 https://github.com/MLAI-Yonsei/CISE.git 에서 확인할 수 있습니다.
컨포멀 마팅게일을 이용한 분포 무관 순차적 변화 탐지의 최적성
Optimal distribution-free sequential change detection with conformal martingales
본 연구는 변화 전후의 분포가 알려져 있지 않으며 \emph{전혀 제한되지 않은} 독립 관측치에 대한 분포 무관 순차적 변화점 탐지라는 어려운 문제를 다룬다. 20년 넘게 이 문제의 주된 기존 해법은 Vovk의 컨포멀 검정 마팅게일과 이에 연관된 e-탐지기를 사용해 왔으며, 이들은 각각 오경보 확률(PFA)과 평균 실행 길이(ARL)를 제어한다. 이러한 연구 대부분은 타당성에 초점을 맞추고 있으며, 통계적 효율성은 대체로 시뮬레이션에 맡겨져 왔다. 본 논문은 알려지지 않은 시점 $T$에 변화점이 있는 비교환 가능 데이터에서 컨포멀 p-값이 어떻게 거동하는지에 대한 포괄적인 이론을 전개한다. 이를 이용해 변화 후 성장과 그에 따른 탐지 지연을 분석하였고, 기존의 표준 방법이 PFA 및 ARL 제어에 대해 증명 가능하게 최적이 아니며 각각 $\Omega(T)$와 $\Omega(\sqrt{\text{ARL}})$ 수준의 지연을 초래할 수 있음을 발견하였다. 우리는 학습된 점수와 고정된 분포 독립적 베팅 사전(dictionary)을 사용하는 새로운 컨포멀 e-프로세스와 e-탐지기를 구성한다. KL 발산이 양의 유한값인 모든 분포 쌍에 대해, 제안한 방법은 PFA 제어에서 $\log T/\mathrm{KL}$ 지연을, ARL 제어에서 $\log\mathrm{ARL}/\mathrm{KL}$ 지연(선도 상수 1로 엄밀함)을 점근적으로 달성하며, 이 둘은 적절한 이중 배열 프레임워크에서 미니맥스 최적임이 증명된다. 시뮬레이션은 새로운 접근법의 큰 경험적 이점을 보여 준다.
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
Conformal Bayes는 베이즈 사후 예측 점수와 컨포멀 보정을 결합한다. 연속적 레이블 이동 하에서는 점수와 보정 가중치가 모두 알려지지 않은 응답 밀도비에 의존한다. 기존 방법은 보통 의사 레이블이나 예측 표본으로부터 단일 지수 틸트를 추정하여 이를 보정에 대입한다. 우리는 사전에 지정한 틸트 족에 대해 민감도 분석을 수행하는 Joint Tilt-Sensitivity Conformal Bayes(JTS-CB)를 제안한다. 각 틸트는 결합된 점수-가중치 쌍을 정의한다. 분할 절차인 JTS-SCB는 가중 절편 전용 분위수 회귀에서 틸트별 임계값 중 가장 큰 값을 취하여 결합 최소-최대 보정을 푼다. JTS-Union은 개별 임계값을 유지하여 JTS-SCB의 예측 집합에 포함되는 예측 집합을 산출한다. 두 방법 모두 설계상 보정 전용 가중치를 사용하며 일반적인 커버리지 보장은 없다. 또한 후보 가중 방식의 정확한 대응 방법도 연구한다. 0이 아닌 선형 지수 틸트는 어떤 것이든 그 예측 집합을 비유계로 만드는 반면, 콤팩트한 음의 이차 족은 가우시안 점수 하에서 유계인 정확한 합집합을 산출한다. 실용적 절차의 경우, 대체(fallback)를 포함한 국소화 보정은 틸트 족이 참 틸트를 포함할 때 명목 수준에서 목표 꼬리 질량 상한을 뺀 값 이상의 커버리지를 제공하지만, 폭을 상당히 증가시킬 수 있다. 세 개의 회귀 데이터셋에 대한 통제된 이동 실험과 합성 데이터 실험은, 이동이 잘 식별될 때 플러그인 예측 표집이 오라클 커버리지에 근접할 수 있으나 예측 편향과 불안정한 틸트 추정에는 여전히 취약함을 보여준다. 민감도 분석은 시험한 설정에서 이러한 실패를 완화할 수 있으나, 그 대가로 예측 집합이 넓어진다. 점수와 가중치를 결합하면 가중치만 변화시킬 때보다 더 높은 커버리지로 더 좁은 집합을 얻을 수 있으나, 이러한 이점이 모든 이동에서 일정하지는 않다. 민감도 족에서 참 틸트를 제외하면 여전히 과소 커버리지가 발생할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.