SEE: 고정된 VLM의 숨겨진 인지 능력 깨우기
SEE: Unlocking the Hidden Perception of Frozen VLMs
한국어 초록
시각-언어 모델(VLM)은 이미지의 전반적인 내용은 파악하지만, 큰 사진 속의 작은 물체나 빽빽한 인포그래픽 속의 숫자처럼 질문이 좌우되는 세부 사항은 놓치는 경우가 많다. 그러나 답이 틀린 경우에도 모델이 가리키는 영역에는 근거가 담겨 있는 경우가 많다. 본 논문은 고정된 VLM이 자신이 가리키는 곳을 다시 보게 하는 학습이 필요 없는 방법인 Self-Elicited Evidence(SEE)를 제안한다. 초기 답변의 신뢰도가 낮을 때 SEE는 모델이 세부 사항이 나타날 수 있는 영역을 제안하도록 유도하고, 확대된 크롭에서 질문에 답하며, 신뢰도 가중 투표로 이 답변들을 원래 예측과 통합한다. 모델은 자신의 전사 결과로도 답하며, 이는 텍스트가 많은 이미지에 도움이 된다. SEE는 검출기나 OCR 엔진이 필요 없다. 다섯 가지 백본 전반에서 SEE는 모든 소형 물체 벤치마크를 2.3-13.1점 향상시키며 소형 물체에서 학습이 필요 없는 다섯 가지 기준선을 능가한다. SEE를 적용하면 Qwen3.5-4B는 Qwen3.5-9B의 직접 답변을 능가하고 6배 큰 Qwen3.5-27B와 대등한 성능을 보인다.
원문 초록
Vision-language models (VLMs) grasp the overall content of an image but often miss the fine details a question hinges on, such as a small object in a large photo or a number in a dense infographic. Yet even when their answer is wrong, the region they point to often contains the evidence. We introduce Self-Elicited Evidence (SEE), a training-free method that lets a frozen VLM look again where it points. When the initial answer has low confidence, SEE prompts the model to propose regions where the details may appear, answers the question on these enlarged crops, and aggregates the answers with the original prediction through confidence-weighted voting. The model also answers with its own transcript, which helps on text-rich images. SEE needs no detector or OCR engine. Across five backbones, SEE improves every small-object benchmark by 2.3-13.1 points and outperforms five training-free baselines on small objects. With SEE, Qwen3.5-4B surpasses the direct answer of Qwen3.5-9B and matches the 6 times larger Qwen3.5-27B.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23962v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.