AmbiSteer: 비전-언어 모델에서 모호성 인식 응답을 선택적으로 유도하기
AmbiSteer: Selectively Eliciting Ambiguity-Aware Responses in Vision-Language Models
한국어 초록
비전-언어 모델(VLM)은 시각적 증거가 불충분한 경우에도 단정적인 답변을 제시하는 과신 경향을 자주 보인다. 대표적인 사례는 시각 질의응답(VQA)에서의 지시 대상 모호성으로, 이미지 속 여러 개체가 질문의 지시 대상이 될 수 있는 경우이다. 이러한 사례를 다루려면 모호성이 존재하는지를 인식해야 한다. 모호한 질문은 명확화를 요청하거나 가능한 지시 대상을 열거하여 처리할 수 있으며, 모호하지 않은 질문에는 직접 답해야 한다. 현재의 VLM은 이러한 구분에 어려움을 겪으며 흔히 하나의 해석으로 기울어진다. 활성화 조향(activation steering)이 이러한 행동을 유도하는 추론 시점 메커니즘으로 활용될 수 있는지 조사하기 위해, 본 연구는 모호성 인식 행동을 선택적으로 유도하는 경량 프레임워크인 AmbiSteer를 제안한다. 세 가지 VLM에 걸쳐 조향만으로는 효과가 제한적이며 모델에 따라 달라지는 반면, 프롬프팅이 일반적으로 더 효과적임을 확인하였다. 프롬프팅과 조향을 결합하면 명확화 및 열거 행동이 크게 증가하지만, 모호하지 않은 사례에서도 이러한 행동이 유도된다. AmbiSteer는 선형 분류기로 입력의 모호성을 예측하고 이에 따라 조향 방향을 조건화하여 이 문제를 해결하며, 적절하게 처리되는 입력의 비율을 모델 평균 59.0%에서 77.0%로 높인다. 본 연구는 불확실한 멀티모달 환경에서 모델의 과신을 줄이는 경량 접근법의 토대를 마련한다.
원문 초록
Vision-language models (VLMs) often exhibit overconfidence, providing firm answers even when visual evidence is insufficient. A prominent case is referential ambiguity in Visual Question Answering (VQA), where multiple entities in an image are plausible referents of a question. Addressing such cases requires recognizing when ambiguity is present: ambiguous questions can be handled by asking for clarification or enumerating plausible referents, while unambiguous questions should receive a direct answer. Current VLMs struggle with this distinction, often defaulting to a single interpretation. To investigate whether activation steering can serve as an inference-time mechanism to elicit such behaviors, we introduce AmbiSteer, a lightweight framework to selectively elicit ambiguity-aware behavior. Across three VLMs, we find that steering alone has limited and model-dependent effects, while prompting is generally more effective. Combining prompting and steering substantially increases clarification and enumeration behaviors, but also elicits them on unambiguous cases. AmbiSteer addresses this using a linear classifier to predict input ambiguity and condition the steering direction accordingly, increasing the proportion of inputs handled appropriately from 59.0% to 77.0% on average across models. Our work sets the ground for lightweight approaches to reduce model overconfidence in uncertain multimodal settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
23 pages, 23 figures