NovaPlan: 폐루프 비디오 언어 계획을 통한 제로샷 장기 조작
NovaPlan: Zero-Shot Long-Horizon Manipulation via Closed-Loop Video Language Planning
복잡한 장기(long-horizon) 로봇 작업을 해결하려면 추상적인 작업 구조와 저수준 물리적 상호작용에 대한 결합된 추론이 필요합니다. 비전-언어 모델(VLM)과 비디오 생성 모델의 결합은 제로샷(zero-shot) 계획 수립을 위한 유망한 접근법을 제공하지만, 물리 법칙에 대한 환각(hallucination)을 보이거나 기하학적 일관성을 위반하는 각 모델의 개별적 경향은 시간이 지남에 따라 누적되어 실제 환경에서의 안정적인 실행을 방해하곤 합니다. 본 논문에서는 시각적 계획을 체계적으로 제안, 검증 및 수정하여 강건한 제로샷 장기 조작을 가능하게 하는 계층적 프레임워크인 NovaPlan을 소개합니다. 상위 수준에서는 VLM 플래너가 작업을 분해하고 여러 후보 비디오 롤아웃을 검증하여 동역학적으로 일관되지 않은 미래를 걸러냅니다. 이렇게 상상된 미래를 신뢰할 수 있는 물리적 행동으로 변환하기 위해, NovaPlan은 객체 중심 흐름(object-centric flow)과 인간 손 흐름(human hand flow) 사이를 적응형으로 전환하는 하이브리드 기하학적 표현을 활용합니다. 마지막으로 NovaPlan은 실행 과정을 지속적으로 모니터링하여 결과를 검증하고, 실패가 발생할 경우 손가락 끝으로 찌르기와 같은 국소적인 비파지(non-prehensile) 교정 행동을 합성함으로써 루프를 완성합니다(close the loop). 다양한 다단계 작업에 걸쳐 NovaPlan은 이전 제로샷 시스템들을 크게 능가하며, 작업별 학습(training)이나 시연 데이터 없이도 복잡한 조립 및 정교한 오류 복구를 완전히 달성합니다. 추가 결과는 프로젝트 웹사이트(https://nova-plan.github.io/)를 참조하십시오.