hfhs.org

이 이메일 도메인이 관측된 논문 1건

arXiv:2605.10893v3cs.CL

그라운딩인가 추측인가? Blind-Image Contrastive Ranking을 통한 LVLM 신뢰도 추정

Grounded or Guessing? LVLM Confidence Estimation via Blind-Image Contrastive Ranking

대규모 비전-언어 모델(LVLM)은 시각적 비그라운딩(visual ungroundedness) 문제를 겪는다. 이미지가 예측에 전혀 기여하지 않더라도, 순전히 언어 사전분포(prior)만으로 유창하고 자신감 있으며 심지어 정답인 응답을 만들 수 있다. 기존 신뢰도 추정 방법은 일반 추론 하에서 모델 동작만 관찰하며, 예측이 이미지에 의해 형성되었는지 아니면 텍스트만으로 형성되었는지 판별할 메커니즘이 없어 이를 탐지할 수 없다. 우리는 모델에 구애받지 않는 신뢰도 추정 프레임워크인 BICR(Blind-Image Contrastive Ranking)을 제안한다. LVLM은 완전히 고정(frozen)된 상태로 두고, 대신 샘플마다 은닉 상태(hidden state)를 두 번 추출한다—한 번은 실제 이미지-질문 쌍으로, 한 번은 질문은 고정한 채 이미지를 검게 가린(blacked out) 경우로. 이어서 실제 이미지 은닉 상태 위에서 작은 별도 프로be를 학습하며, 검게 가린 뷰에서 더 높은 신뢰도에 페널티를 주는 순위 손실(ranking loss)로 정규화하여 시각적 그라운딩을 신뢰성의 신호로 취급하도록 한다. 추론 시에는 실제 이미지에 대한 단일 패스만 사용하므로, BICR은 표준 단일 뷰 프로be 대비 추가 비용이 없다. 시각 질의응답, 객체 환각(hallucination) 탐지, 의료 영상, 금융 문서 이해를 아우르는 벤치마크에서 5개의 최신 LVLM과 7개 기준선에 대해 평가한 결과, BICR은 교정(calibration)과 변별(discrimination) 모두에서 교차 LVLM 평균 최고 성능을 동시에 달성하며, 클러스터 인식(cluster-aware) 분석에도 견고한 통계적으로 유의한 변별 향상을 보이고, 가장 강한 probing 기준선 대비 4–18배 적은 파라미터를 사용한다.