언제 확대해야 하는가? 비전-언어 모델이 놓치는 세부의 크기
Know When to Zoom: How Small Is Too Small for Vision-Language Models?
한국어 초록
온라인 비전-언어 모델은 큰 이미지에서 작은 세부를 놓치는 경우가 많다. 모델이 이미지를 보기 전에 서비스가 이미지를 축소하거나 거부하기 때문이다. 예를 들어 8,000×6,000픽셀 드론 사진에서 너비 20픽셀인 차량은 Claude에 약 6픽셀로 전달되고, OpenAI 기본 설정에서는 사진 자체가 거부된다. 공급사 네 곳의 모델 일곱 개에서 인쇄한 코드로 시력 검사와 같은 실험을 하고 실제 사진 속 작은 객체에 관한 질문 601개를 사용해 세부가 얼마나 남는지 측정했다. 모델이 절반의 확률로 읽을 수 있는 최소 글자 크기는 작은 이미지에서 6픽셀 이하였지만, 기본 설정의 7,680×4,320픽셀 사진에서는 10~13픽셀로 예측됐다. 확대하면 잃은 세부를 상당 부분 복구할 수 있다. 사진마다 최대 아홉 타일로 나누면 Claude와 Gemini의 정확도가 11.1~14.5%포인트 올라갔다. GPT-6.1 Sol에서는 이미지 거부를 피해 50.7%에서 83.7%로 높아졌다. 모델이 필요한 영역을 먼저 지목한 뒤 확대하는 2단계 방식은 타일 방식의 이미지 토큰 약 40%만 사용했다. Gemini에서는 타일 방식과 같거나 더 높은 성능을 냈고, Claude에서는 정확도 차이가 2.5%포인트 이내였다. 세부가 사라지면 Claude와 Gemini 모두 약 절반의 경우 판단할 수 없다고 답했으나, 나머지 경우의 실패 양상은 달랐다. Gemini는 해당 사례의 43~48%에서 확신을 보이며 오답을 냈고 Claude는 5~9%였다. 호출 전에 세부 크기를 확인하는 방식은 Claude와 Gemini에서 타일 분할의 이점을 대부분 놓쳤다. 반면 Claude가 확신하지 못한다는 답은 신뢰할 수 있는 신호였다. 그런 답 뒤에만 타일로 나누면 항상 나눌 때의 이미지 토큰 중 62~70%만으로 정확도 차이를 1.4%포인트 이내로 줄였다. 이 결과로 에이전트의 확대 시점을 정하는 규칙 다섯 가지를 제시한다. 시력 검사 자료, 모델의 모든 답, 코드는 https://siddvoh.com/know-when-to-zoom 에 공개했다.
원문 초록
Online vision-language models often miss small details in large images, because the service shrinks the image, or rejects it, before the model ever sees it. A car 20 pixels wide in an 8000 by 6000 drone photo reaches Claude about 6 pixels wide, and OpenAI's default rejects the photo outright. We measure how much detail survives for seven models from four vendors, using an eye exam of printed codes and 601 questions about small objects in real photos. The smallest text a model reads half the time grows from 6 pixels or less on a small image to a predicted 10 to 13 pixels on a 7680 by 4320 photo at default settings. Zooming wins much of the detail back. Splitting each photo into up to nine tiles raises accuracy by 11.1 to 14.5 percentage points for Claude and Gemini, and by avoiding rejections it lifts GPT-6.1 Sol from 50.7% to 83.7%. A two-step zoom, in which the model first names the region it needs, matches or beats tiles on Gemini and comes within 2.5 points of them on Claude, with about 40% of their image tokens. When a detail is lost, Claude and Gemini both say they cannot tell about half the time, but they fail differently in the rest: Gemini gives a confident wrong answer in 43% to 48% of these cases, Claude in only 5% to 9%. A check based on detail size, run before the call, misses most of the gain from tiles on Claude and Gemini, but Claude's own reply is a reliable trigger: tiling only after an unsure reply comes within 1.4 points of always tiling with 62% to 70% of the image tokens. We turn these findings into five rules for when an agent should zoom, and release the eye exam, every model answer and code at https://siddvoh.com/know-when-to-zoom.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22709v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.