Visual Cipher Bench: 장기 지평 시각 추론에서 LLM 에이전트 벤치마킹
Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning
한국어 초록
언어 모델 에이전트는 장기 지평 코딩과 터미널 작업에서 뛰어난 성과를 보이지만, 이러한 성공은 명시적인 텍스트 사양과 즉각적인 실행 피드백이라는 두 조건에 의존한다. 그러나 핵심 정보가 이미지에만 존재하는 실제 문제에서는 두 조건 모두 성립하지 않으므로, 장기 지평 능력이 텍스트에서 시각 추론으로 전이되는지는 불분명하다. 이러한 시각적 환경에서는 규칙과 단서를 텍스트로 옮기기 어렵고 테스트 케이스 피드백도 없기 때문에, 에이전트는 이미지를 반복적으로 살피고, 공간 변환을 시뮬레이션하며, 단서를 자율적으로 교차 검증해야 한다. 이러한 어려움에도 불구하고 기존 평가는 이 능력을 포착하지 못한다. 시각 추론 벤치마크는 대체로 과제를 단일 턴의 짧은 사슬 질의응답으로 축소하고, 에이전트 벤치마크는 텍스트 기반 환경이나 시행착오를 허용하는 상호작용 상태에 초점을 맞춘다. 이 간극을 메우기 위해 우리는 공간 조작 및 시뮬레이션, 논리적 제약 및 계획, 규칙 귀납, 지식 기반 해독의 네 범주에 걸친 40개의 독창적인 시각 퍼즐 모음인 Visual Cipher Bench를 제안한다. 각 퍼즐은 한 장에서 세 장의 흑백 선화와 최소한의 제출 지침만 제공하며, 에이전트가 이미지만으로 근본적인 해결 메커니즘을 발견하도록 요구한다. 8개 최첨단 모델의 29개 추론 노력 설정에서, 가장 강력한 모델인 GPT-6 Astra(max)조차 정확도가 26.7%에 불과하며, 8개 모델 중 5개는 1% 미만이다. 그러나 10개 과제 부분집합에서 정답을 노출하지 않는 메커니즘 힌트를 하나만 제공해도 정확도가 12.2%에서 51.1%로 상승한다. 이러한 뚜렷한 대비는 현재 에이전트의 주된 병목이 다단계 계획의 실행이 아니라 시각적 증거로부터 규칙을 자율적으로 발견하는 데 있음을 보여 준다. 따라서 Visual Cipher Bench는 에이전트의 장기 지평 시각 추론을 측정하기 위한 엄밀한 벤치마크를 제공한다.
원문 초록
While language-model agents excel at long-horizon coding and terminal tasks, this success relies on two conditions: explicit text specifications and immediate execution feedback. However, neither condition holds in real-world problems where critical information exists only in images, leaving it unclear whether long-horizon capability transfers from text to visual reasoning. In such visual settings, because rules and clues resist text transcription and lack test-case feedback, agents must repeatedly inspect images, simulate spatial transformations, and autonomously cross-check clues. Despite this challenge, existing evaluations fail to capture such capability: visual reasoning benchmarks largely reduce tasks to single-turn, short-chain question answering, whereas agent benchmarks focus on text-based environments or interactive states that permit trial-and-error. To bridge this gap, we introduce Visual Cipher Bench, a collection of 40 original visual puzzles across four categories: spatial manipulation and simulation, logical constraints and planning, rule induction, and knowledge-based decoding. Each puzzle provides only one to three black-and-white line drawings and a minimal submission instruction, requiring agents to discover the underlying solving mechanism entirely from the images. Across 29 reasoning-effort configurations of eight frontier models, even the strongest model, GPT-6 Astra (max), achieves only 26.7% accuracy, while five of the eight models score below 1%. Yet on a ten-task subset, providing a single non-spoiler mechanism hint boosts accuracy from 12.2% to 51.1%. This sharp contrast shows that the primary bottleneck of current agents lies not in executing multi-step plans, but in autonomously discovering rules from visual evidence. Visual Cipher Bench thus provides a rigorous benchmark for measuring long-horizon visual reasoning in agents.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.16861v2제출 시각 미확인
- arXiv:2611.16861v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.