그라운딩인가 추측인가? Blind-Image Contrastive Ranking을 통한 LVLM 신뢰도 추정
Grounded or Guessing? LVLM Confidence Estimation via Blind-Image Contrastive Ranking
한국어 초록
대규모 비전-언어 모델(LVLM)은 시각적 비그라운딩(visual ungroundedness) 문제를 겪는다. 이미지가 예측에 전혀 기여하지 않더라도, 순전히 언어 사전분포(prior)만으로 유창하고 자신감 있으며 심지어 정답인 응답을 만들 수 있다. 기존 신뢰도 추정 방법은 일반 추론 하에서 모델 동작만 관찰하며, 예측이 이미지에 의해 형성되었는지 아니면 텍스트만으로 형성되었는지 판별할 메커니즘이 없어 이를 탐지할 수 없다. 우리는 모델에 구애받지 않는 신뢰도 추정 프레임워크인 BICR(Blind-Image Contrastive Ranking)을 제안한다. LVLM은 완전히 고정(frozen)된 상태로 두고, 대신 샘플마다 은닉 상태(hidden state)를 두 번 추출한다—한 번은 실제 이미지-질문 쌍으로, 한 번은 질문은 고정한 채 이미지를 검게 가린(blacked out) 경우로. 이어서 실제 이미지 은닉 상태 위에서 작은 별도 프로be를 학습하며, 검게 가린 뷰에서 더 높은 신뢰도에 페널티를 주는 순위 손실(ranking loss)로 정규화하여 시각적 그라운딩을 신뢰성의 신호로 취급하도록 한다. 추론 시에는 실제 이미지에 대한 단일 패스만 사용하므로, BICR은 표준 단일 뷰 프로be 대비 추가 비용이 없다. 시각 질의응답, 객체 환각(hallucination) 탐지, 의료 영상, 금융 문서 이해를 아우르는 벤치마크에서 5개의 최신 LVLM과 7개 기준선에 대해 평가한 결과, BICR은 교정(calibration)과 변별(discrimination) 모두에서 교차 LVLM 평균 최고 성능을 동시에 달성하며, 클러스터 인식(cluster-aware) 분석에도 견고한 통계적으로 유의한 변별 향상을 보이고, 가장 강한 probing 기준선 대비 4–18배 적은 파라미터를 사용한다.
원문 초록
Large vision-language models (LVLMs) suffer from visual ungroundedness: they can produce a fluent, confident, and even correct response driven entirely by language priors, with the image contributing nothing to the prediction. Existing confidence estimation methods cannot detect this, as they observe model behavior under normal inference with no mechanism to determine whether a prediction was shaped by the image or by text alone. We introduce BICR (Blind-Image Contrastive Ranking), a model-agnostic confidence estimation framework. The LVLM stays entirely frozen; instead, we extract its hidden states twice per sample, once with the real image-question pair and once with the image blacked out while the question is held fixed. A small, separate probe is then trained on the real-image hidden state, regularized by a ranking loss that penalizes higher confidence on the blacked-out view, teaching it to treat visual grounding as a signal of reliability. At inference only the single real-image pass is used, so BICR adds zero cost beyond a standard single-view probe. Evaluated across five modern LVLMs and seven baselines on a benchmark covering visual question answering, object hallucination detection, medical imaging, and financial document understanding, BICR achieves the best cross-LVLM average on both calibration and discrimination simultaneously, with statistically significant discrimination gains robust to cluster-aware analysis, at 4-18x fewer parameters than the strongest probing baseline.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.10893v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.