Oneira: 비디오 월드 모델에서 개방형 생성을 넘어 오픈월드 상호작용으로
Oneira: From Open-Ended Generation to Open-World Interaction in Video World Models
생성형 비디오 월드 모델(generative video world model)은 이제 에이전트가 탐색하고 단순한 방식으로 상호작용할 수 있는 개방형 환경을 합성할 수 있습니다. 그러나 개방형 생성이 완전한 상호작용을 의미하지는 않습니다. 생성된 월드가 확장됨에 따라 탐색을 통해 새롭게 생성된 콘텐츠는 에이전트가 행동을 취할 수 있는 범위를 넓혀야 하며, 에이전트가 월드를 변경할 때 이러한 변경 사항은 일시적인 시각적 효과에 그치지 않고 환경의 지속적인 일부가 되어야 합니다. 본 연구에서는 이 두 가지 요구 사항을 다음과 같이 정의합니다. 첫째, 새롭게 생성되거나 마주친 개체가 실행 가능한 월드에 통합되는 '오픈월드 상호작용성(Open-World Interactivity)'과, 둘째, 상호작용 결과가 월드 상태에 반영되어 후속 관측 및 상호작용에 지속적으로 영향을 미치는 '영구적 상태(Persistent State)'입니다. 우리는 코딩 에이전트가 관리하는 명시적이고 확장 가능한 월드 상태를 통해 생성과 상호작용 간의 루프를 완성하는 대화형 비디오 월드 모델인 Oneira를 제시합니다. 현재 관측과 행동 또는 상위 수준의 목표가 주어지면, 에이전트는 월드 상태를 읽고 관련 개체를 그라운딩(grounding)하며 상호작용을 계획하고 그 결과를 월드 상태 테이블에 다시 기록합니다. 탐험을 통해 새로운 객체가 드러나면 에이전트는 생성된 관측으로부터 이를 통합하여 생성된 월드와 함께 상호작용 공간이 확장되도록 합니다. 한편, 이전에 유도된 상태 변화는 비디오 세그먼트 전반에 걸쳐 전달되므로 상호작용의 결과가 후속 월드 전개의 영구적인 일부가 됩니다. 업데이트된 월드 상태는 카메라 행동 궤적을 따라 거친 조건화 비디오(coarse conditioning video)로 렌더링되며, 비디오 생성기는 이를 바탕으로 상태에 표현되지 않은 외형, 움직임 및 상호작용의 세부 사항을 채워 넣습니다. 실험 결과에 따르면 Oneira는 새롭게 생성된 객체와의 직접적이고 일관된 상호작용을 가능하게 하는 동시에, 장기적인 시계(long horizons)에 걸쳐 이전 상호작용의 효과를 보존함을 보여줍니다. 프로젝트 페이지: https://madaoer.github.io/projects/oneira