PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01999v1cs.CV

추론 실패 분석을 통한 조합 가능한 비디오 공간 지능

From Reasoning Failures to Composable Video Spatial Intelligence

공간 추론 벤치마크는 다양한 태스크 전반에서 비전-언어 모델(VLM)을 평가하지만, 태스크 수준의 점수만으로는 어떤 기저 역량이 성공 또는 실패를 유발하는지 밝혀내지 못합니다. 각 태스크는 공간적 근거(spatial evidence)를 복원하고 기하학적 구조를 표현하며 이를 바탕으로 추론하는 과정을 필요로 합니다. 본 연구에서는 공유된 스키마와 좌표 규약 하에서 예측된 공간 컨텍스트와 실제 정답(ground-truth) 공간 컨텍스트를 비교하여 이러한 역량들을 분리 분석합니다. 이 비교를 통해 네 가지 반복적인 오류 원인이 드러났습니다. 바로 부정확한 인식, 공간 컨텍스트의 정보 누락, 잘못된 측정 기준 선택, 그리고 기준 좌표계(reference frame) 오류 또는 위치 및 방향 추적 실패입니다. 이러한 진단을 바탕으로, 신뢰할 수 있는 비디오 공간 추론을 지원하기 위해 가용한 근거 위에서 작동하는 타입화된 기하 연산자 및 공간 스킬들로 구성된 학습 불필요(training-free) 라이브러리 CROSS를 개발했습니다. 이 라이브러리는 코딩 능력이 없는 VLM에게는 검증된 컨텍스트를 제공하거나 SpatialClaw 에이전트에게는 호출 가능한 스킬을 제공합니다. 5개의 벤치마크에서 CROSS를 평가한 결과, ReVSI에서 평균 점수를 55.9%에서 60.2%로 끌어올렸으며, DSI-Bench에서는 SpatialClaw 결과를 62.8%에서 66.3%로 향상시켰습니다. 이러한 개선 결과는 공간 규약을 명시적으로 처리함으로써 추가적인 학습(training) 없이도 체계적인 추론 실패를 교정할 수 있음을 보여줍니다.