SPARC: 대규모 로봇 시연이로부터 신뢰할 수 있는 공간 주석
SPARC: Reliable Spatial Annotations from Robot Demonstrations at Scale
본 연구는 Spatial Annotations from Robot Demonstrations with Reliability Calibration(SPARC)를 소개한다. SPARC는 로봇 시연에 구조화된 공간 주석을 자동으로 부여하고 각 주석에 신뢰도 점수를 할당하는 위험 인식(risk-aware) 프레임워크이다. 바운딩 박스, 객체 궤적, 조작 단계 레이블과 같은 구조화된 공간 주석은 그라운딩된 로봇 정책 및 체화(embodied) 파운데이션 모델 학습부터 모션 플래닝(motion planning), 계층적 작업 구성(hierarchical task composition)에 이르는 광범위한 로봇 공학 응용에 유익하다. 기존 자동화 파이프라인은 이러한 주석을 대규모로 생성하지만 신뢰할 만한 품질 신호를 제공하지 않는다. 검출기(detector) 신뢰도는 주석 정확성에 대해 잘 보정(calibrated)되지 않아, 노이즈가 있는 레이블을 수용하거나 유용한 샘플을 폐기하는 선택을 강요한다. 기존 자동화 파이프라인과 달리 SPARC는 로봇 작업에 내재된 시공간(spatio-temporal) 구조를 활용해 신뢰성 신호를 생성하여 노이즈 레이블을 줄이고 더 많은 유용한 샘플을 유지한다. 또한 로봇 시연에서 상호작용한 객체의 위치를 그라운딩(grounding)하는 모델 정확도를 측정하는 벤치마크인 Interaction-Aware Bench(IA-Bench)를 도입한다. 다양한 embodiment와 시나리오에 걸친 1.7k개의 사람 주석 시연에서 SPARC는 검출 전용(detection-only) 베이스라인보다 위치 추정(localization) 정확도에서 현저히 우수하며, 고정밀(high-precision) 운영점(operating points)에서 3배 더 많은 샘플을 유지한다. 실험 결과, 본 주석으로 파인튜닝(fine-tuning)한 모델은 유사 크기 모델 중 객체 그라운딩 및 포인팅(pointing) 벤치마크에서 최첨단(state-of-the-art) 결과를 달성하며, 수동으로 검증되거나 주석 처리된 학습 데이터 없이도 더 넓은 공간 추론(spatial-reasoning) 벤치마크에서 경쟁력을 유지한다. 또한 SPARC가 생성한 주석으로 학습한 정책은 복잡하고 시각적으로 모호한 실세계 장면에서 베이스라인을 능가한다. 코드, 데이터, 모델은 intuitive-robots.github.io/sparc-labeling에서 이용할 수 있다.