PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22588v1cs.CV

보는 것만으로는 충분하지 않다: 비전-언어 모델은 증거를 지각하지만 행동으로 이어지지 못한다

Seeing is not Enough: Vision-Language Models Perceive Evidence but Fail to Act

비전-언어 모델(VLM)은 시각적 질의응답 벤치마크에서 강한 성능을 보이지만, 이미 올바르게 식별한 시각적 증거와 모순되는 결정을 내리는 경우가 종종 있다. 우리는 관련 증거가 인식되지 않는 지각 실패(perceptual failure)와, 인식된 증거가 최종 결정을 제약하지 못하는 과정 실패(process failure)를 구분한다. 우리는 VPAC-Bench를 제안한다. 이는 아홉 가지 실제 이미지 기반 과정(process) 계열을 아우르는 벤치마크로, 각 이미지에 현재 활동 단계(activity stage)와 인접한 단계 전환(stage transition)이 주석으로 달려 있다. 또한 State-Relevance-Target(SRT)를 제안한다. 이는 답변 전에 모델이 가시적 증거를 관련 과정 상태(process state)에 연결하도록 요구하는 구조화된 과정 사전(process-prior) 개입(intervention) 방법군이다. 여러 VLM에 걸쳐 과정 실패는 광범위하다. 시각적 후보를 올바르게 열거하는 모델조차 모호한 경우의 95% 이상에서 단일 답에 과도하게 고착(over-commit)한다. 명시적인 과정 구조화 개입은 모호하지 않은 경우의 성능을 저하시키지 않으면서 이 비율을 13% 미만으로 낮춘다. 그러나 과정 사전의 전이(transfer)는 모델에 따라 다르며, 일반적인 SRT는 강력한 사고의 연쇄(Chain-of-Thought) 베이스라인을 일관되게 능가하지 못한다. 관련 단계 전환이 알려져 있을 때, 경계 정렬(boundary-aligned) SRT는 조립(assembly), 물리적 상태 전환, 내비게이션 및 교통, 객체 사용 affordance 과제 전반에서 일반적인 과정 프롬프팅 및 검증된 모든 사고의 연쇄 베이스라인을 크게 능가한다. 이 결과는 과정 사전이 장면의 특정 의사결정 경계(decision boundary)와 정렬될 때 가장 유용함을 보여주며, 과정 기반(process-grounded) 시각 추론을 위한 경계 인식(boundary-aware) 사전 선택의 필요성을 뒷받침한다.