그래디언트 기반 플래닝을 위한 월드 모델의 학습-테스트 격차 해소
Closing the Train-Test Gap in World Models for Gradient-Based Planning
모델 예측 제어(MPC)와 결합된 월드 모델(world model)은 대규모 전문가 궤적 데이터셋을 통해 오프라인으로 학습(training)될 수 있으며, 추론(inference) 시점에 광범위한 플래닝 작업으로의 일반화를 가능하게 합니다. 느린 탐색 알고리즘이나 최적화 문제를 반복적으로 정확히 푸는 방식에 의존하는 전통적인 MPC 절차와 비교했을 때, 그래디언트(gradient) 기반 플래닝은 계산 효율적인 대안을 제공합니다. 그러나 그래디언트 기반 플래닝의 성능은 지금까지 다른 접근 방식들에 비해 뒤처져 있었습니다. 본 논문에서는 효율적인 그래디언트 기반 플래닝을 가능하게 하는 월드 모델 개선 학습 방법을 제안합니다. 우리는 월드 모델이 다음 상태 예측 목표로 학습되지만, 테스트 시점에는 일련의 행동 순서를 추정하는 데 사용된다는 관찰에서 출발합니다. 본 연구의 목표는 이러한 학습-테스트 격차(train-test gap)를 좁히는 것입니다. 이를 위해 기존 월드 모델에서 크게 개선된 그래디언트 기반 플래닝을 가능하게 하는 학습 시점 데이터 합성 기법을 제안합니다. 테스트 시점에 우리의 접근 방식은 10%의 시간 예산만으로도 다양한 물체 조작 및 내비게이션 작업 전반에서 고전적인 그래디언트 미사용 교차 엔트로피(cross-entropy) 방법(CEM)보다 우수하거나 동등한 성능을 달성합니다.