arXiv:2609.27408v1 cs.CV

비전-언어 모델에서 능력 한계처럼 보이는 것은 판독(readout) 한계이다

What Looks Like a Capability Limit in Vision-Language Models Is a Readout Limit

Alfredo F. Frontera Del Valle

제출 2026-09-24

한국어 초록

비전-언어 모델 벤치마크는 답 선택지를 어떤 관례에 따라 제시한다: 문자, 색 이름, 픽셀 좌표 등. 그 관례는 중립적인 것으로 간주된다. 우리는 그렇지 않음을 밝히고, 벤치마크가 보고하는 한계가 모델이 아니라 판독(readout)에 속할 수 있음을 보인다. COCO 사진 200장에서 Qwen3-VL-4B는 이름이 붙은 객체에 대해 아홉 위치 중 올바른 위치를, 위치가 영어로 주어지면 68.5%, 동일한 위치가 픽셀 좌표로 주어지면 20.0%의 확률로 고른다. 우선확률(chance)은 11.1%이다. 비용은 답 선택지가 좌표일 때 발생한다. 질문 쪽에 좌표를 주는 방식은 3.5점 손실이며 유의하지 않다. 이 격차는 4×4 격자에서, 4비트가 아닌 8비트 양자화에서, 객체 크기·경계 거리·범주별 모든 슬라이스에서 유지된다. 또한 어떤 모델이 이기는지도 좌우한다. 영어 이름 조건에서 동률인 두 모델은 한 좌표계에서는 39점, 다른 좌표계에서는 54점 차이가 나며 방향은 서로 반대이다. 색 과제에서는 과제를 수행할 수 있는 네 개의 오픈 모델 중 세 개가 페널티를 보이고, 사진 과제에서는 세 개 중 두 개와 Gemini가 보이며, 파싱 가능한 답에 대해 11.1점(p = 1e-4)이다. GPT-4o는 그렇지 않다. 모델이 좌표를 전혀 읽는지 묻기 위해 각 좌표에 잘못된 이름을 붙이고 모델이 어느 쪽을 따르는지 기록한다. 색상각(hue angle)으로 쓴 색 선택지는 우선확률 이하로 따르고, 정규화된 픽셀 관례는 우선확률의 네 배로 따른다. 이는 모델이 쓸 수 있는 관례와 쓸 수 없는 관례를 구분해 주지만, 시도하지 않은 두 관례에서의 정확도는 예측하지 못했다. 다섯 모델은 같은 색환(color wheel)을 서로 다른 다섯 가지 방식으로 이름 붙이므로, 고정된 답 어휘도 모델 간에 중립적이지 않다. 이 작업 중 다섯 번, 채점기와 모델이 답의 형태에 대해 불일치하여 유능한 모델을 무능한 것으로 측정했다. 각 사례를 보고하며, 이들은 현상의 축소판이다.

원문 초록

Benchmarks for vision-language models offer their answer choices in some convention: a letter, a color name, a pixel coordinate. That convention is treated as neutral. We find it is not, and that the limits a benchmark reports can belong to the readout rather than to the model. On 200 COCO photographs, Qwen3-VL-4B picks the correct one of nine locations for a named object 68.5% of the time when the locations are given in English and 20.0% when the same locations are given as pixel coordinates. Chance is 11.1%. The cost arises when the answer options are coordinates; giving the model a coordinate in the question instead costs 3.5 points and is not significant. The gap holds on a 4x4 grid, under 8-bit rather than 4-bit quantization, and in every slice by object size, boundary distance and category. It also decides which model wins. Two models that tie under English names differ by 39 points in one coordinate system and by 54 in the other, in opposite directions. On the color task, three of the four open models capable of the task show the penalty; on photographs, two of three open models do, and so does Gemini, at 11.1 points on parseable answers (p = 1e-4). GPT-4o does not. To ask whether a model reads a coordinate at all, we attach the wrong name to each one and record which the model follows. Color options written as hue angles are followed below chance; a normalized pixel convention is followed at four times chance. This tells apart conventions a model can use from ones it cannot, though it did not predict accuracy on two untried conventions. Five models also name the same color wheel five different ways, so a fixed answer vocabulary is not neutral across models either. Five times during this work we measured a capable model as incapable because our scorer and the model disagreed about what an answer looks like. We report each case. They are the phenomenon in miniature.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27408v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13465v1cs.CV공통 태그 Benchmarking, spatial grounding

멀티모달 LLM이 인간이 읽는 것을 놓칠 때: 눈을 가늘게 뜨고 읽는 텍스트(Squint Text) 진단 및 학습

When MLLMs miss what humans read: diagnosing and learning to read squint text

멀티모달 대규모 언어 모델(MLLM)은 이미지의 대략적인 구조에 내재된 텍스트(인간이 눈을 가늘게 뜨고 볼 때 복원할 수 있는 텍스트)를 읽지 못하고 텍스트가 존재하지 않는다고 보고할 수 있습니다. 우리는 이러한 텍스트 유형을 '스퀸트 텍스트(Squint Text)'로 명명하고, 실제 프로덕션 모더레이션 파이프라인의 사례에 착안하여 이를 인식 결함 문제로 연구합니다. 본 논문에서는 실제 운영 환경에서 추출한 1,076개의 모더레이션 이미지로 구성된 SquintBench와 메커니즘 진단을 위한 통제된 합성 데이터셋 제품군인 SquintCtrl을 소개합니다. 고정 가중치(frozen-weight) 분석에 따르면 숨겨진 텍스트는 대략적인 신호를 남기지만 글리프(glyph) 식별 정보는 약하게 표현되며, 올바른 공간 영역이 제공될 때 글리프 식별 정보에 대한 접근성이 대폭 향상되어 공간 선택이 주요 병목 현상임을 시사합니다. 또한 고주파수 콘텐츠를 억제하면 고정된 시각적 토큰(visual token) 예산 내에서 텍스트 판독 능력이 향상되며, 시각적 토큰의 수 또한 영향을 미칠 수 있습니다. 이러한 발견을 바탕으로 우리는 Squint OPSD를 제안합니다. 고정된 교사 모델은 다운스케일된 뷰와 정답 텍스트를 특권 문맥(privileged context)으로 제공받으며, 교사의 토큰 수준 분포는 온-정책(on-policy) 궤적을 따라 학생 모델을 지도합니다. 추론(inference) 시점에 학생 모델은 원본 이미지만을 입력으로 받아 읽습니다. Squint OPSD는 SquintBench에서 88.61 ANLS를 달성하여, 미적용 백본의 26.50, 원본 뷰에서 최고 성능의 범용 모델이 기록한 24.44, 다운스케일된 뷰에서 기성 모델(off-the-shelf model)이 기록한 최고치인 68.60을 크게 앞섭니다. 이러한 결과는 추론 시 보조 뷰 없이도 활용 가능한 시각적 증거와 생성된 판독 결과 간의 격차를 실질적으로 좁힙니다.

arXiv:2610.13790v1cs.CV공통 태그 Benchmarking, Visual Question Answering

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2609.39378v2cs.CV공통 태그 Benchmarking, Visual Question Answering

EgoTools: 실세계 1인칭 시점 비디오에서의 도구 중심 추론을 향하여

EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.

arXiv:2610.03105v1cs.CV공통 태그 Benchmarking, spatial grounding

공간적으로 그라운딩된 제스처 생성을 위한 벤치마크

A Benchmark for Spatially Grounded Gesture Generation

공유된 공간에서의 의사소통은 언어적 신호와 비언어적 신호가 얽혀 있으며, 지시 제스처(pointing gesture)는 언어를 환경(environment)에 고정합니다. 예를 들어 지시 대상(referent)을 지정하는 제스처가 없다면 "컵을 저기 위에 놓아줘"라는 말은 해석할 수 없습니다. 그러나 생성된 제스처가 의도한 지시 대상을 가리키는지 평가하기 위한 공통 프레임워크는 존재하지 않으며, 분포 기반 지표(distributional metrics)는 잘못된 물체를 향한 제스처라 할지라도 자연스러워 보이기만 하면 보상(reward)을 부여합니다. 본 논문에서는 참값(ground-truth) 3D 지시 대상을 포함하는 자연스러운 VR 대화에서 수집된 약 2,000개의 지시 주석 클립, 대화 음성 내에서 언제, 어떻게, 어디를 가리켜야 할지 시스템이 결정해야 하는 태스크, 그리고 시간적 정렬(temporal alignment), 공간적 그라운딩(spatial grounding), 인지된 자연스러움을 분리하는 프로토콜로 구성된 공간적으로 그라운딩된 제스처 생성 벤치마크를 소개합니다. 또한 플로우 매칭(flow-matching) 기준선(baseline)인 MM-Conv-Flow를 제공합니다. 이를 독립적인 검색 기반 시스템 및 캡처된 사람의 움직임과 함께 평가한 결과, 기하학적 그라운딩은 인지된 자연스러움의 향상 없이도 사람의 지시를 능가할 수 있음을 발견했으며, 이는 참조적 제스처 품질이 분리된 차원을 따라 측정되어야 함을 보여줍니다.

arXiv:2610.03617v1cs.CV공통 태그 Benchmarking, Visual Question Answering

DEPICT: 답변 일치도를 통한 텍스트-이미지 정렬 점수화

DEPICT: Scoring Text-to-Image Alignment by Answer Agreement

이미지-텍스트 정렬(image-text alignment)은 캡션 평가, 환각(hallucination) 감지, 데이터 큐레이션, 텍스트-이미지(T2I) 생성 모델 벤치마킹 등에 응용되는 컴퓨터 비전의 핵심 문제입니다. T2I 모델이 발전함에 따라 벤치마킹 요구 수준도 높아져, 누락된 객체, 뒤바뀐 속성, 잘못된 개수 세기, 무시된 부정 표현과 같은 일련의 문제들을 발견할 수 있는 평가 지표가 필요해졌습니다. 최근 연구들은 선호도 데이터로 평가 모델을 미세조정(fine-tuning)하거나 비전-언어 모델(VLM)에 캡션을 통째로 프롬프트로 주거나 분해된 검증 질문을 제공하는 방식으로 이를 해결하고자 합니다. 그러나 기존 접근 방식에는 한계가 있습니다. 미세조정된 지표는 단일 백본 및 학습 분포에 종속되며, 전체론적(holistic) 지표는 세밀한 세부 정보를 놓치고, 분해 기반 지표는 가정이 깨질 때마다 충실한 이미지에 불이익을 주는 '고정된 YES' 가정에 의존합니다. 이에 반해, 본 논문에서는 고정된 참조 답변 대신 이미지 기반 답변과 캡션 전용 답변 간의 기대 일치도를 사용하고, 캡션이 질문을 얼마나 결정적으로 판별하는지에 따라 가중치를 부여하는 학습 불필요(training-free) 지표인 DEPICT를 제안합니다. 고정된 참조 답변을 대체함으로써, 이러한 일치 규칙은 부정 표현 정확도를 19%에서 88%로 향상시킵니다. 또한 분해 과정에서 손실된 문맥을 복원하기 위해, DEPICT는 이 일치 점수를 전체론적 점수와 병합합니다. 3개 모델 계열의 11개 백본과 5개 벤치마크에서 DEPICT를 평가한 결과, 모든 학습 불필요 지표를 능가했으며 인간 상관관계 벤치마크 3개 중 2개에서 미세조정된 평가 모델보다 우수한 성능을 보였습니다.

arXiv:2610.00025v1cs.AI공통 태그 Quantization, Benchmarking

마이크로태스크 적격성 격차 측정: 상용 SLM은 언제 에이전트 하네스에 충분한가?

Measuring the Microtask Eligibility Gap: When Is an Off-the-Shelf SLM Enough for an Agent Harness?

에이전트(agent) 하네스는 프론티어 대규모 언어 모델(LLM) 플래너 주변의 마이크로태스크(셸 명령어 자동 승인, 메모리 작성, 도구 선택, 이전 턴 순위화)에 소형 언어 모델(SLM)을 실행하고자 하는 경향이 커지고 있습니다. 본 논문에서는 상용 SLM이 실무자가 정의한 임계값을 충족하는지, 실패한다면 그 이유는 무엇인지, 그리고 양자화(quantization)가 그 결과를 바꾸는지 질문합니다. 이를 위해 고정된 프롬프트(prompt)와 자동 평가 지표를 갖춘 4개의 마이크로태스크로 구성된 벤치마크를 구축했습니다. 각 태스크는 저렴한 비-LLM 기준선(baseline)에 고정된 사전 지정 임계값 $τ$와 신뢰구간(CI) 인식 적격성 규칙(신뢰 한계가 $τ$를 넘어야만 구성이 통과됨)을 가집니다. 최상의 조건(FP16, 그리디, 단일 고정 프롬프트, 튜닝 없음)에서 Qwen3 0.6/1.7/4/8B 모델들을 전수 조사한 결과, 적격성 격차(eligibility gap)를 발견했습니다. 16개 구성(4개 태스크 $\times$ 4개 모델) 중 통과한 구성은 0개였습니다(원시 출력과 파서 동작 검증 완료). 로그 확률(logprob) 결정 임계값 진단(T1/T3/T4; T2는 컨텍스트 길이/캐스케이드 프로브를 통해 수행)을 통해 실패 원인을 역량 부족과 디코딩 임계값 변경으로 해결 가능한 실패(4가지 영역)로 분류했습니다. 4비트 양자화(RTN/GPTQ/AWQ)는 모델 크기에 따라 손상을 입히며 어떤 구성도 적격 상태로 전환하지 못했으므로(재구성 가능한 하드 라벨 태스크 T1/T3에서 검증, T2/T4에서 진단/윈도우 강건성 확인), 격차는 정밀도(precision)보다 모델 크기에 더 크게 좌우됩니다. 이 결과는 Llama-3.x에서도 재현되었으며(12/12 부적격), 앵커 선택($τ$ 탐색) 및 프롬프트 문구(원문 및 셀당 3개의 중립적 패러프레이징에 걸쳐 0/112 적격)에 대해서도 강건했습니다. 실질적인 시사점은 다음과 같습니다. CI 기반 임계값을 충족하는 기준선 뒤에 SLM을 배치하고, 기준선이 임계값을 충족하지 못하는 경우에만 SLM을 사용하는 것입니다. 예를 들어 BM25 후보군에 대한 4B 재순위화 모델은 자체적으로 적격성을 입증하지 못하더라도 BM25보다 우수한 성능을 보였습니다($+0.047$ [0.020, 0.073]).

토론

이 논문과 연결된 포럼 글이 아직 없습니다.