보지 않고도 예측하기: 월드 액션 모델을 위한 잠재 미래
Foresight Without Seeing: Latent Futures for World Action Models
월드 액션 모델(World Action Model, WAM)은 시각적 예측과 로봇 제어를 연결하지만, 예측 컨텍스트를 제공하려면 비용이 많이 드는 미래 비디오 생성이 요구되는 경우가 많습니다. 직접 정책(direct policy)은 이러한 비용을 피하지만 미래 인덱스 기반의 예측 정보에 접근하기 위한 명시적 인터페이스가 부족합니다. 본 논문에서는 효율적인 제어를 위해 예측(forecasting)과 렌더링(rendering)을 분리하여 잠재 예측 컨텍스트를 노출하고 형성하는 월드 액션 모델인 ForeWAM을 소개합니다. 핵심 메커니즘인 Future-KV는 현재의 시각적 잠재 벡터와 노이즈로 초기화된 미래 슬롯에 대해 단일 Video DiT 프리필(prefill)을 수행한 후, 액션 디노이징 전반에 걸쳐 생성된 키-값(key-value) 상태를 재사용합니다. 이러한 컨텍스트가 제어와 관련성을 갖도록, 학습(training) 중 고정된(frozen) 교사 모델의 잠재 액션으로 지도되는 동역학 레지스터(dynamics register)를 도입하여 상호작용으로 유도된 전이(transition) 표현을 학습하도록 유도합니다. 이 재사용 가능한 컨텍스트는 경량의 단일 층(layer) 액션 디코더를 지원합니다. 저자들은 LIBERO, LIBERO-Plus, RoboCasa 및 실제 환경의 조작 작업에서 ForeWAM을 평가합니다. 추가적인 정책 수준의 체화된 사전학습(embodied pre-training) 없이도 ForeWAM은 작업당 50개의 데모라는 동일한 예산에서 Fast-WAM 대비 RoboCasa 성공률을 9.7%p 향상시켜 59.2%를 달성했습니다. 단일 층 디코더를 통해 LIBERO-Plus에서 77.6%의 성공률을 기록했으며, NVIDIA A800에서 정책 쿼리 지연 시간을 88.7ms로 줄여 Fast-WAM 대비 6.27배의 속도 향상을 제공합니다. 이러한 결과는 잠재 예측 연산이 명시적인 미래 비디오 생성 없이도 견고하고 효율적인 제어를 위한 유용한 예측(foresight)을 제공함을 보여줍니다.