arXiv:2606.25066v1 cs.AI

Do vision-language models search like humans? Reasoning tokens as a reaction-time analog in classic visual-search paradigms

Farahnaz Wick

제출 2026-06-23

원문 초록

Visual search has been one of the most productive paradigms in the study of visual attention: the way reaction time scales with the number of items distinguishes parallel, "pop-out" search from serial, attention-demanding search. I ask whether vision-language models (VLMs) exhibit the same behavioral signatures. I adapt four classic paradigms: feature versus conjunction search, spatial-configuration (T-vs-L) search, enumeration, and the tilted/vertical search asymmetry; and present them to current frontier and mid-tier models. Because a single model call has no reaction time, I use the number of reasoning ("thinking") tokens a model spends per trial as a within-model analog of search effort, and I compare against a large public human benchmark (Wolfe et al., 2010). The models reproduce several human signatures: feature search costs flat effort while conjunction effort climbs with set size; frontier models hold accuracy where mid-tier models collapse to chance; and a resolution control shows the conjunction cost is genuine search rather than difficulty resolving small shapes. They also diverge from humans in informative ways. The target-present effort slope exceeds the target-absent slope, reversing the human ordering; enumeration remains accurate where humans would lose count; and a reasoning model with adaptive deliberation declines to deliberate on detection tasks altogether, so that a single search expresses itself as an effort gradient in one model and as an accuracy cliff in another. I argue that psychophysical paradigms, applied behaviorally, are a sharp and inexpensive probe of machine visual cognition, and that the points of divergence are as informative as the points of agreement.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.25066v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13548v1cs.CV공통 태그 Benchmarking, vision-language model

기존 평가 실행 결과를 활용한 VLM 벤치마크 감사

Auditing VLM Benchmarks from Existing Evaluation Runs

비전-언어 모델(VLM)의 모든 평가 실행은 이미 문항별 산출물(예측값, 채점된 정답 여부, 메타데이터)을 생성하지만, 리더보드는 이를 단일 점수로 축약한 뒤 폐기한다. 우리는 이러한 산출물을 재사용하여 벤치마크 자체를 감사하며, VLMEvalKit에 감사 층을 추가한다: 저장된 출력물에 대해 후처리 방식으로 실행되는 6개의 탐지기(detector)와, 시각 입력을 제거한 텍스트 전용 재실행 1개를 추가로 수행하여 문항별 보고서를 생성한다. 이 층은 문항별 결과와 함께 집계된 감사 통계를 보고하며, 주요 지표에 대해서는 해당하는 경우 순열-귀무(permutation-null) 초과분, 비율에 대한 구간 추정치, 그리고 모델 풀(pool)에 대한 민감도를 함께 제시한다. 이미지가 필수적이도록 특별히 선별된 벤치마크인 MMStar를 세 개의 모델로 감사한 결과, 전체 문항의 20.2%에서 이미지로 인한 집계 정확도 향상이 전혀 없음을 발견했다. 문항 매칭(item-matched) 순열 귀무 모델이 17.0%를 설명하며, +3.2퍼센트포인트의 초과분이 남는다(보정된 순열 p = 0.001). 이 초과분은 수학 및 과학 범주에 집중되어 있고 거친(coarse) 지각(perception) 범주에서는 나타나지 않는데, 이는 지식이 시각적 증거를 대체하는 것과 일치하는 국소화(localization) 양상이다; 이 메커니즘을 확인하려면 문항 단위 검토가 필요할 것이다. 두 번째 탐지기는 파싱 가능한 형태로 응답한 모든 모델이 동일한 비정답(non-gold) 선택지를 고른 134개 문항을 표시하는데, 이러한 후보 문항들은 지각 범주에서 최고치를 보이는 반면, 제로-게인(zero-gain) 초과분은 수학 및 과학·기술 범주에서 가장 크다. LLM 심사자를 정확한 문자열 매칭으로 대체해도 결론은 변하지 않으며, 두 방식 간의 모든 채점 불일치는 파서가 읽을 수 없는 자유 형식 답변을 내놓은 단 하나의 모델로 귀결된다. 이진(yes/no) 벤치마크에서는 탐지기들이 측정 가능한 수준으로 보정(calibration)을 벗어나는데, 이는 우리가 측정하고 보고하는 범위상의 한계이다. 감사 층, 예측 산출물, 그리고 생성된 보고서는 본 제출물과 함께 제공된다.

arXiv:2610.13790v1cs.CV공통 태그 Benchmarking, Visual Question Answering

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2609.39378v2cs.CV공통 태그 Benchmarking, Visual Question Answering

EgoTools: 실세계 1인칭 시점 비디오에서의 도구 중심 추론을 향하여

EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.

arXiv:2610.02270v1eess.IV공통 태그 Benchmarking, vision-language model

흉부 X선 비전-언어 모델을 위한 신뢰성 스트레스 테스트 및 결정 시점 라우팅

Reliability Stress Tests and Decision-Time Routing for Chest X-ray Vision-Language Models

의료 비전-언어 모델(VLM) 평가는 워크플로 설계, 프롬프트 전략, 벤치마크 구성에 민감하지만, 대부분의 연구는 이러한 요인들을 개별적으로 다룹니다. 본 연구에서는 두 개의 균형 잡힌 데이터셋(비공개 보고서 기반 데이터셋 및 선별된 MIMIC 서브셋)을 기반으로 구축된 흉부 X선 판독을 위한 신뢰성 스트레스 테스트를 소개합니다. 세 가지 의료 VLM(CheXagent, MedGemma-4B, MedGemma-27B)을 세 가지 프롬프트 스타일과 두 가지 워크플로(단일 VLM 및 멀티 에이전트)에 걸쳐 평가하여 총 36개의 구성을 생성했습니다. 본 연구는 정확 일치(exact-match) 정확도만으로는 기본적으로 "정상(Normal)" 예측을 내놓는 보수적인 모델의 유효성이 과장될 수 있음을 보여줍니다. 진단 신뢰성 또한 모델 계열과 규모에 크게 의존하는데, 멀티 에이전트 추론은 일부 구성에는 도움이 되지만 다른 구성에는 오히려 해가 됩니다. 이러한 관찰을 바탕으로, 유익한 경우에만 멀티 에이전트 추론으로 선택적으로 이관하여 고정된 워크플로 대비 비용-품질 트레이드오프를 개선하는 결정 시점 라우팅(decision-time routing) 프레임워크를 제안합니다. 본 연구 결과는 임상 배포 전에 프롬프트 민감도, 실패 모드의 다양성, 워크플로 선택을 종합적으로 고려하는 평가 프로토콜의 필요성을 강조합니다.

arXiv:2610.03617v1cs.CV공통 태그 Benchmarking, Visual Question Answering

DEPICT: 답변 일치도를 통한 텍스트-이미지 정렬 점수화

DEPICT: Scoring Text-to-Image Alignment by Answer Agreement

이미지-텍스트 정렬(image-text alignment)은 캡션 평가, 환각(hallucination) 감지, 데이터 큐레이션, 텍스트-이미지(T2I) 생성 모델 벤치마킹 등에 응용되는 컴퓨터 비전의 핵심 문제입니다. T2I 모델이 발전함에 따라 벤치마킹 요구 수준도 높아져, 누락된 객체, 뒤바뀐 속성, 잘못된 개수 세기, 무시된 부정 표현과 같은 일련의 문제들을 발견할 수 있는 평가 지표가 필요해졌습니다. 최근 연구들은 선호도 데이터로 평가 모델을 미세조정(fine-tuning)하거나 비전-언어 모델(VLM)에 캡션을 통째로 프롬프트로 주거나 분해된 검증 질문을 제공하는 방식으로 이를 해결하고자 합니다. 그러나 기존 접근 방식에는 한계가 있습니다. 미세조정된 지표는 단일 백본 및 학습 분포에 종속되며, 전체론적(holistic) 지표는 세밀한 세부 정보를 놓치고, 분해 기반 지표는 가정이 깨질 때마다 충실한 이미지에 불이익을 주는 '고정된 YES' 가정에 의존합니다. 이에 반해, 본 논문에서는 고정된 참조 답변 대신 이미지 기반 답변과 캡션 전용 답변 간의 기대 일치도를 사용하고, 캡션이 질문을 얼마나 결정적으로 판별하는지에 따라 가중치를 부여하는 학습 불필요(training-free) 지표인 DEPICT를 제안합니다. 고정된 참조 답변을 대체함으로써, 이러한 일치 규칙은 부정 표현 정확도를 19%에서 88%로 향상시킵니다. 또한 분해 과정에서 손실된 문맥을 복원하기 위해, DEPICT는 이 일치 점수를 전체론적 점수와 병합합니다. 3개 모델 계열의 11개 백본과 5개 벤치마크에서 DEPICT를 평가한 결과, 모든 학습 불필요 지표를 능가했으며 인간 상관관계 벤치마크 3개 중 2개에서 미세조정된 평가 모델보다 우수한 성능을 보였습니다.

arXiv:2610.01389v1cs.AI공통 태그 Benchmarking, vision-language model

AiSearch: VLM을 활용한 대화형 멀티모달 검색

AiSearch: Interactive Multi-Modal Search with VLMs

현대의 정보 검색(retrieval) 시스템은 자동화되는 동시에 사용자가 실시간으로 결과를 검색하고 개선할 수 있는 대화형(interactive) 특성을 갖추어야 합니다. 본 논문에서는 이미지 및 비디오에 대한 자연어 검색을 위해 비전-언어 모델(VLM)의 제로샷(zero-shot) 역량을 활용하는 유연한 멀티모달 검색 프레임워크인 AiSearch를 제시합니다. AiSearch는 사용자의 의도에 맞게 결과를 맞춤화하기 위한 사용자 피드백 기반의 대화형 검색 정교화를 지원하며, 여러 VLM 전반에 걸친 시각적 벤치마킹을 지원하여 사용자가 작업에 가장 적합한 모델을 선택할 수 있도록 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.