Spatial Atlas: 공간 인지 연구 에이전트 벤치마크를 위한 연산 그라운딩 추론
Spatial Atlas: Compute-Grounded Reasoning for Spatial-Aware Research Agent Benchmarks
본 논문에서는 언어 모델이 답변하기 전에 코드가 명시적인 중간 표현으로부터 선별된 하위 문제를 계산하는 디자인 패턴인 연산 그라운딩 추론(compute-grounded reasoning, CGR)을 설명합니다. Spatial Atlas는 CGR을 공간 질의응답 처리기와 머신러닝 엔지니어링 처리기를 갖춘 Agent2Agent(A2A) 서버로 구현합니다. 공간 처리기는 언어 모델에 씬 그래프(scene graph) 추출을 요청하고, 코드가 누락된 거리를 채우며 추출된 안전성(safety) 규칙을 점검합니다. 별도의 벤치마크 드라이버는 엄격한 메트릭 브리지(metric bridge)를 실행할 수도 있습니다. 이 브리지는 세그멘테이션 마스크와 재구성된 포인트 맵으로부터 수평 간격 질문에 대한 간격을 계산하고, 해당 간격을 사실로서 답변 모델에 전달합니다. 증거 검증에 실패할 경우 브리지는 고정된 사용 불가 답변을 반환하며, 모델이 추정한 좌표로 절대 대체(fall back)하지 않습니다. ML 엔지니어링 처리기는 파이프라인 코드를 생성하고, 검증 점수를 파싱하며, 수정 및 개선 패스 횟수를 제한합니다. 해당 코드 실행 기능은 기본적으로 비활성화되어 있습니다. 또한 본 저장소는 레이블 없는 저널을 작성할 수 있는 4가지 실행 모드, 셔플된 이미지 대조군 매핑, 그리고 레이블이 포함된 필드를 거부하는 저널 검증기를 제공합니다. 본 논문에서는 4개의 경로가 각각 재시도 없이 8개의 예측 행을 작성한 단일 비공개 레이블 미포함 운영 실행 결과를 보고합니다. 레이블은 비공개 상태로 유지되었고 점수는 계산되지 않았으므로, 이 실행은 운영상의 무결성만을 입증합니다. 벤치마크 데이터에 접근할 수 없었기 때문에 FieldWorkArena 결과는 보고하지 않습니다. 또한 재현 가능한 실행 아티팩트가 없는 모든 성능, 지연 시간, 자원 사용량 수치는 제외했습니다.