arXiv:2606.11918v2 cs.AI

심문의 기술: 일관성이 공간 추론에서 사실성을 증폭시킨다

The Art of Interrogation: Consistency Amplifies Factuality in Spatial Reasoning

Theo Uscidda, Marta Tintore Gazulla, Maks Ovsjanikov, Federico Tombari, Leonidas Guibas

제출 2026-06-10

한국어 초록

현재 대규모 추론 모델(LRM)은 주목할 만한 일반적인 능력을 보여주지만 공간 추론 작업에서는 성능이 현저히 부족합니다. 기존 접근 방식은 이러한 격차를 지식 결손으로 간주하여, 외부 비전 소스나 합성 엔진에서 레이블이 지정된 공간 데이터를 학습하기 위해 지도 미세조정(SFT)에 의존합니다. 대조적으로, 우리는 많은 작업에 대해 공간 추론 능력이 이미 사전 학습된 LRM에 존재하지만 기하학적 2D 및 3D 제약 조건 하에서 논리적 일관성을 통한 정렬이 필요하다고 주장합니다. 본 연구에서는 실제 정답(ground-truth) 주석 없이 내부 추론 과정을 목표로 하는 자기 지도 강화학습(RL) 프레임워크를 제안합니다. 변환 하에서 기하학적 및 의미론적 일관성을 확인하는 보상 함수인 일관성 검증자의 개념을 형식화함으로써, 모델이 공간 추론 능력을 향상시킬 수 있음을 입증합니다. 우리는 뒤집기와 같은 이미지 변환과 질문 내 객체의 순서를 교환하는 것과 같은 텍스트 변환을 모두 사용하며, 쌍대 검증자에 맞춰진 그룹 상대 정책 최적화의 최소 매칭 변형인 최적 운송 기반 RL 전략인 OT-GRPO를 제안합니다. 우리는 이 레이블 없는 일관성 학습이 실제 정답(ground-truth) 지도로 학습된 모델의 정확도에 근접하며 다양한 작업과 데이터 도메인에 걸쳐 유사한 일반화를 달성함을 보여줍니다.

원문 초록

Current Large Reasoning Models (LRMs) exhibit remarkable general capabilities but significantly underperform in spatial reasoning tasks. Existing approaches treat this gap as a knowledge deficit, relying on supervised fine-tuning (SFT) to ingest labeled spatial data from external vision sources or synthetic engines. In contrast, we argue that for many tasks, spatial reasoning capabilities are already present in pre-trained LRMs but require alignment through logical coherence under geometric 2D and 3D constraints. In this work, we propose a self-supervised reinforcement learning (RL) framework that targets the internal reasoning process without requiring ground-truth annotations. By formalizing the notion of consistency verifiers -- reward functions that check for geometric and semantic consistency under transformations -- we demonstrate that models can improve their spatial reasoning abilities. We use both image transformations, like flipping, and textual transformations, like swapping the order of objects in the question, and propose a new optimal transport-based RL strategy, OT-GRPO, which is a minimal-matching variant of group relative policy optimization tailored to pairwise verifiers. We show that this label-free consistency training approaches the accuracy of models trained with ground-truth supervision and achieves similar generalization across diverse tasks and data domains.

요약

대규모 추론 모델(LRM)의 공간 추론 성능 저하 문제를 해결하기 위해, 기하학적 제약 조건에서의 논리적 일관성을 강화하는 자기 지도 강화학습(RL) 프레임워크를 제안한다. 실제 정답 레이블 없이 이미지 및 텍스트 변환을 통한 일관성 검증자를 활용한 이 방법은 지도 학습 모델에 근접한 정확도와 일반화 성능을 달성한다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11918v2제출 시각 미확인
  2. arXiv:2606.11918v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01710v1cs.AI공통 태그 Reinforcement Learning, Spatial Reasoning

CoEvolve: 양방향 상태 정밀화를 통한 구성 기반 편집 시각적 그라운딩

CoEvolve: Construct-to-Edit Visual Grounding with Bidirectional State Refinement

시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.