비전-언어 모델에서 능력 한계처럼 보이는 것은 판독(readout) 한계이다
What Looks Like a Capability Limit in Vision-Language Models Is a Readout Limit
비전-언어 모델 벤치마크는 답 선택지를 어떤 관례에 따라 제시한다: 문자, 색 이름, 픽셀 좌표 등. 그 관례는 중립적인 것으로 간주된다. 우리는 그렇지 않음을 밝히고, 벤치마크가 보고하는 한계가 모델이 아니라 판독(readout)에 속할 수 있음을 보인다. COCO 사진 200장에서 Qwen3-VL-4B는 이름이 붙은 객체에 대해 아홉 위치 중 올바른 위치를, 위치가 영어로 주어지면 68.5%, 동일한 위치가 픽셀 좌표로 주어지면 20.0%의 확률로 고른다. 우선확률(chance)은 11.1%이다. 비용은 답 선택지가 좌표일 때 발생한다. 질문 쪽에 좌표를 주는 방식은 3.5점 손실이며 유의하지 않다. 이 격차는 4×4 격자에서, 4비트가 아닌 8비트 양자화에서, 객체 크기·경계 거리·범주별 모든 슬라이스에서 유지된다. 또한 어떤 모델이 이기는지도 좌우한다. 영어 이름 조건에서 동률인 두 모델은 한 좌표계에서는 39점, 다른 좌표계에서는 54점 차이가 나며 방향은 서로 반대이다. 색 과제에서는 과제를 수행할 수 있는 네 개의 오픈 모델 중 세 개가 페널티를 보이고, 사진 과제에서는 세 개 중 두 개와 Gemini가 보이며, 파싱 가능한 답에 대해 11.1점(p = 1e-4)이다. GPT-4o는 그렇지 않다. 모델이 좌표를 전혀 읽는지 묻기 위해 각 좌표에 잘못된 이름을 붙이고 모델이 어느 쪽을 따르는지 기록한다. 색상각(hue angle)으로 쓴 색 선택지는 우선확률 이하로 따르고, 정규화된 픽셀 관례는 우선확률의 네 배로 따른다. 이는 모델이 쓸 수 있는 관례와 쓸 수 없는 관례를 구분해 주지만, 시도하지 않은 두 관례에서의 정확도는 예측하지 못했다. 다섯 모델은 같은 색환(color wheel)을 서로 다른 다섯 가지 방식으로 이름 붙이므로, 고정된 답 어휘도 모델 간에 중립적이지 않다. 이 작업 중 다섯 번, 채점기와 모델이 답의 형태에 대해 불일치하여 유능한 모델을 무능한 것으로 측정했다. 각 사례를 보고하며, 이들은 현상의 축소판이다.