CueClash: 최첨단 비전-언어 모델은 3D 관계를 이미지 평면에 가깝게 판단한다
CueClash: Frontier Vision-Language Models Judge 3-D Relations Close to the Picture Plane
한국어 초록
비전-언어 모델(VLM)은 이미지에 보이는 단서나 바닥면 배치를 바탕으로 3D 관계를 판단할 수 있다. 일반 사진에서는 두 근거가 대체로 일치한다. CueClash는 다섯 가지 관계별로 2D 단서가 진술의 정확히 절반에서만 맞도록 장면을 렌더링해 두 근거를 구분한다. 지름길 격차는 단서가 맞을 때의 정확도에서 틀릴 때의 정확도를 뺀 값이다. 낮은 추론 강도에서 Claude Opus 5.5, GPT-5.5, Gemini 3.6 Flash의 격차는 +18~+37%포인트였다. 단서가 틀린 항목이 경계 사례나 가림과 얽힌 관계 두 개를 제외하면 +7~+29%포인트였다. 바닥 좌표와 각 관계의 정의를 주면 정확도는 99~100%였다. 물체가 개구부를 통과할 수 있는지 판단할 때는 픽셀 측정값과 카메라 깊이 정보를 제공하면 격차의 대부분이 사라졌다. 실패는 이미지에서 공간 배치로 옮기는 단계에서 생겼다. 모델이 위에서 내려다본 장면의 지도를 그리면 깊이 순서는 대부분 유지하지만 이미지처럼 깊이를 짧게 표현했다. GPT-5.5의 지도는 이미지 복사본과 비슷했다. Opus 5.5와 Gemini의 지도는 깊이 축소의 약 0.6을 보정했다. Gemini는 그 뒤 모든 깊이를 같은 비율로 더 줄였다. Opus 5.5는 주로 개구부 통과 판단에서 이미지 단서를 따랐고, 그 지도는 실제 장면을 보는 사람과 비슷한 정도로 깊이를 보정했다. 신뢰할 만한 2D 단서가 실제와 어긋나는 CV-Bench 사진에서도 세 모델의 정확도가 떨어졌다. 공개 모델 두 개에서는 배치 정보가 언어 모델까지 도달했지만, 그린 지도에서는 그 정보의 상당 부분이 사라졌다.
원문 초록
A vision-language model (VLM) can judge 3-D relations from the picture or from the ground layout. In photographs the two usually agree. We separate them with CueClash, rendered scenes in which the 2-D cue for each of five relations is right on exactly half the statements. The shortcut gap is accuracy when the cue is right minus accuracy when it is wrong. For Claude Opus 5.5, GPT-5.5 and Gemini 3.6 Flash at low reasoning effort it is +18 to +37 percentage points. It is +7 to +29 without two relations whose cue-wrong items are confounded with borderline cases or occlusion. Given ground coordinates and each relation's definition, they answer 99 to 100% correctly. Pixel measurements with camera depths remove most of the gap for objects fitting through openings. The failure lies in the step from the picture to the layout. The maps that the models draw of the scene from above mostly keep the depth order but, like the picture, shorten depth. GPT-5.5's maps stay close to a copy of the picture. Opus 5.5's and Gemini's maps undo about 0.6 of this shortening. Gemini's then shrink all depths by a further uniform factor. Opus 5.5 follows the picture mainly on fits, and its maps correct depth about as much as human observers of real scenes do. The three models also lose accuracy on CV-Bench photographs where a reliable 2-D cue misleads. In two open models the layout information reaches the language model, but their maps lose much of it.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22180v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.