ReMoT: 모션 대비 삼중항을 활용한 강화학습
ReMoT: Reinforcement Learning with Motion Contrast Triplets
본 논문에서는 내비게이션, 로봇공학, 자율 주행 분야에서 치명적인 실패 요인인 시공간 일관성(spatio-temporal consistency) 측면에서 VLM(비전-언어 모델)의 근본적인 한계를 체계적으로 해결하기 위한 통합 학습 패러다임인 ReMoT를 제안합니다. ReMoT는 두 가지 핵심 구성 요소를 통합합니다: (1) 비디오 메타 주석(video meta-annotations)에서 파생된 대규모(16.5K 삼중항) 모션 대비 데이터셋(motion-contrast dataset)인 ReMoT-16K를 생성하는 규칙 기반 자동 프레임워크로, 비용이 많이 드는 수동 생성이나 모델 기반 생성 방식을 능가합니다. (2) Group Relative Policy Optimization으로, 본 연구에서는 이 대비 추론(contrastive reasoning)을 학습하는 데 있어 표준 지도 미세조정(supervised fine-tuning)을 훨씬 능가하는 최적의 성능과 데이터 효율성을 제공함을 경험적으로 검증했습니다. 또한 VLM의 미세한 모션 속성(예: 반대 방향) 식별 능력을 측정하기 위해 정교한 모션 대비 삼중항(fine-grained motion contrast triplets)에 대한 최초의 벤치마크를 구축했습니다. 결과적으로 생성된 모델은 새로운 벤치마크와 여러 표준 VLM 벤치마크에서 최첨단(state-of-the-art) 성능을 달성했으며, 시공간 추론(spatio-temporal reasoning) 작업에서 놀라운 25.1%의 성능 향상을 이끌어냈습니다.