arXiv:2605.09883 cs.CV

The Cartesian Shortcut: Re-evaluate Vision Reasoning in Polar Coordinate Space

제출 2026-05-11

한국어 초록

현재의 멀티모달 대규모 언어 모델(MLLMs)이 대표적인 시각 추론 벤치마크에서 빠르게 포화 상태에 이르면서, 하나의 핵심 질문이 제기됩니다. 이러한 높은 점수는 정말로 강건한 시각 이해를 진정으로 반영하는 것일까요? 우리는 널리 퍼진 취약점인 **직교 지름길(Cartesian Shortcut)**을 확인했습니다. 시각 추론 벤치마크는 대체로 직교 격자 기반 배치를 바탕으로 구성되며, 이는 명시적인 텍스트 좌표로 쉽게 이산화될 수 있습니다. 모델은 이 속성을 체계적으로 활용하며, 시각 문제 해결을 돕기 위해 텍스트 기반의 연역 추론에 크게 의존합니다. 이 지름길을 체계적으로 해체하기 위해, 우리는 **Polaris-Bench**를 도입합니다. 이 벤치마크는 53개의 시각 추론 과제를 극좌표계로 재구성하고, 참조용으로 짝을 이루는 데카르트 좌표계 대응 항목을 함께 제공하면서도, 일관된 논리적 제약과 과제의 의미를 유지합니다. 이를 통해 모델이 활용하던 직교적 사전편향을 근본적으로 무너뜨립니다. 14개의 최신 MLLM에 대한 포괄적 평가는, 데카르트 배치에서 70%~83%를 달성한 최첨단 모델들이 극좌표 대응 과제에서는 31%~39%로 급락함을 보여줍니다. 이러한 성능 저하는 완전한 논리적 동등성이 보장되더라도 계속됩니다. 또한 데카르트 배치에서 관찰되던 추론 성능 향상은 극좌표 대응 과제에서는 크게 약화됩니다. 이러한 결과는 현재 MLLM의 중대한 결함, 즉 위상 불변 시각 추론(topology-invariant visual reasoning)의 부재를 드러냅니다.

요약

최근 멀티모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)이 여러 시각 추론 벤치마크에서 높은 성능을 보이면서, 이러한 점수가 과연 견고한 시각 이해를 반영하는지에 대한 의문이 제기되고 있다. 저자들은 그 핵심 원인으로, 많은 벤치마크가 직교 격자 기반 레이아웃 위에 구축되어 있어 이를 비교적 쉽게 명시적 텍스트 좌표로 바꿀 수 있다는 점을 지적하며, 모델이 실제로 이미지를 깊이 이해하기보다 좌표화된 정보를 이용해 텍스트 중심의 연역적 추론으로 문제를 푸는 현상을 ‘Cartesian Shortcut’으로 규정한다. 이러한 문제의식을 바탕으로 제안된 Polaris-Bench는 53개의 시각 추론 과제를 극좌표계(Polar coordinate space)로 재구성하고, 동시에 기준 비교를 위한 데카르트 좌표계(Cartesian coordinate space) 대응 버전을 함께 제공함으로써, 과제의 논리적 제약과 의미는 그대로 유지하되 모델이 의존하던 직교적 사전편향을 체계적으로 제거한다. 이 설계는 단순히 입력 형식을 바꾸는 수준을 넘어, 모델이 익숙한 좌표 기반 해석 경로를 더 이상 손쉽게 활용할 수 없도록 만들어, 진정한 시각-공간 추론 능력을 더 엄격하게 검증하도록 유도한다. 특히 두 버전이 논리적으로 동등하다는 점에서, 성능 차이는 과제 난이도의 차이라기보다 추론 방식의 취약성을 드러내는 직접적인 증거로 해석된다. 14개의 최신 MLLMs에 대한 포괄적 실험 결과는 이러한 문제를 매우 분명하게 보여준다. 데카르트 레이아웃에서는 70%에서 83% 수준의 높은 정확도를 보이던 모델들이 극좌표 버전에서는 31%에서 39% 수준으로 급격히 하락했으며, 이는 기존 벤치마크 성능의 상당 부분이 구조적 편향을 활용한 결과일 수 있음을 시사한다. 더욱 주목할 점은 이러한 성능 저하가 논리적으로 완전히 동일한 과제에서도 지속되었다는 사실로, 이는 모델이 본질적인 관계를 토폴로지 변화에 대해 안정적으로 유지하는 능력, 즉 토폴로지 불변 시각 추론(topology-invariant visual reasoning)을 충분히 갖추지 못했음을 의미한다. 또한 데카르트 환경에서 관찰되던 추론 향상 효과가 극좌표 환경에서는 현저히 약해진다는 결과는, 그동안 추론 능력의 진보로 여겨졌던 현상조차 특정 공간 표현에 강하게 의존했을 가능성을 제기한다. 결국 이 연구는 시각 추론 평가의 핵심이 단순한 정답률 경쟁이 아니라, 레이아웃이 달라져도 관계 구조를 일관되게 파악하는 능력을 얼마나 안정적으로 검증할 수 있는가에 있음을 강조한다. 이러한 관점에서 Polaris-Bench는 기존 평가 체계의 맹점을 드러내는 동시에, 향후 벤치마크 설계가 텍스트 기반 우회 경로를 차단하고 시각적·공간적 이해 자체를 더 엄밀하게 시험해야 함을 분명히 보여준다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.