arXiv:2610.08966v2 cs.AI

인류의 육감: 멀티모달 모델의 직관적 시각 추론 벤치마킹

Humanity's Sixth Sense: Benchmarking Intuitive Visual Reasoning in Multimodal Models

Xingang Guo, Jing Gu, Brian Jang, Renxiong Wang, Utkarsh Tyagi, Daniel Quigley, Steven Li, David Yan, Daniel Yue Zhang, Darvin Yi, Forrest Huang, HiJae Kim, Tianyi Zhang, Jared Lichtarge, Jihua Huang 외 14명

제출 2026-10-06

한국어 초록

인간은 한 장면에 명시적으로 묘사된 것보다 훨씬 더 많은 것을 인지합니다. 한 번의 시선만으로도 과거의 원인과 미래의 궤적을 파악하고, 짧은 엿보기로 주차된 두 대의 차량 사이에 차가 들어갈 수 있는지 판단하며, 몇 초간의 비디오를 통해 방 안에서 누가 권위를 쥐고 있는지 알아차리고, 스쳐 지나가는 짧은 클립에서 불문율이나 숨겨진 라벨과 같은 미묘한 추상적 패턴을 포착합니다. 이러한 능력은 일종의 인류의 육감(sixth sense), 즉 단순한 감각적 지각을 넘어 암묵적인 정보를 복원하는 직관적 추론(intuitive reasoning) 메커니즘을 반영합니다. 결정적으로, 이러한 신속한 제로샷(zero-shot) 시각적 직관은 일상적인 탐색과 사회적 상호작용의 근간을 이루며, 인간과 함께 배치되는 멀티모달 대규모 언어 모델(MLLM)에 필수적인 능력이 됩니다. 그러나 기존의 시각 벤치마크는 학술 및 수학 분야의 심층적인 전문가 수준 분석이나 저수준 지각에만 치중되어 있어, 인간이 수행하는 직관적 추론은 거의 검증하지 못한 채로 남아 있습니다. 이러한 격차를 해소하기 위해, 본 연구에서는 직관적 시각 추론을 위한 벤치마크인 Humanity's Sixth Sense(HSS)를 소개합니다. HSS는 다양한 이미지 및 비디오 입력을 아우르고, 체계적인 분류 체계 하에 항목을 구성하며, 인간이 한눈에 추론하는 암묵적인 시간적, 공간적, 사회적, 추상적 구조를 탐색하는 사람이 직접 작성한 프롬프트와 각 항목을 연결합니다. 최첨단 MLLM은 인간의 성능에 미치지 못합니다. 인간 참가자는 93.1%의 정확도에 도달한 반면, 가장 강력한 모델인 GPT-6-astra는 최대 추론 노력을 기울였을 때조차 53.6%에 불과했습니다. 고도화된 지각과 지식을 요구하는 수많은 복잡한 작업에서 뛰어난 성능을 보임에도 불구하고, 현재의 모델들은 인간에게는 직관적인 이러한 시각 작업에서 여전히 상당한 어려움을 겪고 있습니다. 나아가 본 연구는 HSS에 동적 시각 조작을 적용하는 에이전트(agent) 설정을 탐구하여 격차를 좁혔으나 완전히 해소하지는 못했습니다. HSS는 직관적 시각 추론을 측정 가능한 축으로 확립하고, 기존 벤치마크의 스케일링(scaling) 과정에서 지금까지 뒤처져 있던 능력에 주목하도록 유도합니다.

원문 초록

Humans perceive far more in a scene than what is explicitly depicted: a single glance captures past causes and future trajectories; a quick peek determines if a vehicle can fit between two parked cars; a few seconds of video reveals who holds authority in a room; and a fleeting clip highlights subtle abstract patterns like unwritten rules or hidden labels. This capacity reflects a form of humanity's sixth sense: an intuitive reasoning mechanism that recovers implicit information beyond raw sensory perception. Crucially, this rapid, zero-shot visual intuition underpins everyday navigation and social interaction, making it a vital capability for Multimodal Large Language Models (MLLMs) deployed alongside people. Existing visual benchmarks, however, target either deliberate expert-level analysis in academic and mathematical domains or low-level perception, leaving the intuitive reasoning that people perform largely untested. To bridge this gap, we introduce Humanity's Sixth Sense (HSS), a benchmark for intuitive visual reasoning. HSS spans diverse image and video inputs, organizes items under a structured taxonomy, and pairs each with human-written prompts probing the implicit temporal, spatial, social, and abstract structure that people infer at a glance. Frontier MLLMs fall short of human performance: participants reach 93.1% accuracy, while the strongest model, GPT-6-astra, reaches only 53.6% even at maximum reasoning effort. Despite excelling in many complex tasks that require advanced perception and knowledge, current models still struggle significantly on these visual tasks that are intuitive for humans. We further explore agentic setup that apply dynamic visual manipulation to HSS, which narrows but does not close the gap. HSS establishes intuitive visual reasoning as a measurable axis and directs attention to a capability that scaling on current benchmarks has so far left behind.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.08966v2
  2. arXiv:2610.08966v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.