arXiv:2611.01467v2 cs.CV

보고, 생각하고, 활용하라: 시각-언어 모델의 지각 및 추론 실패 진단

See, Think, Use: Diagnosing Perception and Reasoning Failures in VLMs

Jiacheng Ding, Yanliang Qi, Cong Guo, Peihua Mai

제출 2026-11-03

한국어 초록

우리는 시각-언어 모델의 각 답변을 지각, 추론, 또는 지각의 활용으로 추적하는 프로토콜인 See, Think, Use를 제시한다. 이 진단은 개발자에게 어느 단계를 개선해야 하는지를 보여 주고, 테스트 시점 연산을 실패하는 단계로 향하게 한다. 벤치마크는 최종 답변에 점수를 매기므로, 이미지에 근거한 답변도 추측이나 암기된 사전 지식에 의한 답변과 같은 점수를 받는다. 이 프로토콜은 항목당 두 개의 추가 질문을 모델에 하며 모델 가중치에 대한 접근을 필요로 하지 않는다. 위치 파악 프로브는 모든 인스턴스를 둘러싼 상자를 요청하여 보기를 측정하고, 텍스트 대체 프로브는 설명으로부터 답하게 하여 생각하기를 측정한다. 활용은 반사실적 이미지 쌍에 걸쳐 답변이 모델 자신의 지각을 따르는 비율이다. 질문과 그 사전 지식이 두 이미지에서 동일하므로 이 비율은 답변 레이블을 필요로 하지 않는다. 두 모델 계열과 여섯 개 데이터셋에서 이 프로토콜은 도움이 되는 조절 요소가 과업 계열에 따라 달라짐을 보여 준다. 답변은 일반적인 사전 지식에 모순되는 이미지를 제외하면 모델의 지각을 따르며, 모델에게 먼저 위치를 파악하도록 요청하면 상자가 정확한 경우 이 실패가 개선된다. 측정된 단계에 따라 연산을 할당하면 더 낮은 비용으로 최선의 균일 정책에 근접하며, 어떤 조절 요소가 부족한 단계를 향상시키는 경우에는 동일한 연산의 무작위 할당보다 우수하다. 코드, 프롬프트, 질문별 출력을 공개할 예정이다.

원문 초록

We present See, Think, Use, a protocol that traces each answer of a vision-language model to perception, reasoning or the use of perception. The diagnosis shows a developer which stage to improve and directs test-time compute to the stage that fails. Benchmarks score the final answer, and an answer that rests on the image earns the same credit as a guess or a memorized prior. The protocol asks the model two extra questions per item and needs no access to its weights. A localization probe asks for a box around every instance and measures seeing, and a text-replacement probe answers from a description and measures thinking. Use is the rate at which the answer follows the model's own perception across counterfactual image pairs. The rate needs no answer labels, because the question and its prior are the same on both images. On two model families and six datasets the protocol shows that the knob that helps follows the task family. Answers follow the model's perception except on images that contradict a common prior, and asking the model to localize first repairs this failure when its boxes are right. Allocating compute by the measured stages comes close to the best uniform policy at lower cost and beats a random allocation of the same compute wherever a knob raises the short stage. We will release the code, the prompts and the per-question outputs.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.01467v2제출 시각 미확인
  2. arXiv:2611.01467v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.