Rank-Then-Act: Reward-Free Control from Frame-Order Progress
전문가 비디오 시연에서 환경 보상 없이 제어 정책을 학습하는 Rank-Then-Act(RTA) 프레임워크를 제안하며, 비전-언어 모델(VLM)을 셔플된 프레임 시퀀스에 GRPO 목적함수로 오프라인 학습하여 시간적 순서를 복원하는 진행도 스코어러로 활용한다. 이후 예측된 진행도 순위와 실제 시간 인덱스 간의 Spearman 순위 상관계수를 보상 신호로 사용해 강화학습을 수행하며, PyBoy(Catrap, Kirby), PointMaze, MetaWorld 등 이산·연속 제어 벤치마크에서 기존 비디오 기반 보상 학습 방법을 지속적으로 능가하거나 동등한 성능을 달성했다.