카메라 제어 비디오 월드 모델(video world model)은 카메라가 이전 장면으로 되돌아올 때 장면의 일관성을 유지해야 합니다. 저장된 특징을 타깃 프레임으로 렌더링하는 메모리 방식은 깊이(depth) 및 포즈 오차로 인해 잔상(ghosting)이나 중복된 구조를 유발할 수 있습니다. 위치 이동(positional transport) 방식은 과거 패치의 내용을 리샘플링하는 대신 주소를 재배치함으로써 이러한 리샘플링 문제를 피하지만, 부정확한 투영에도 완전한 위치 정밀도(precision)를 부여한다는 한계가 있습니다. 본 연구에서는 대역별 다중 정밀도 좌표와 기하학 조건부 스펙트럼 감쇠를 갖춘 전역-지역 메모리 인터페이스인 GLIMPSE를 제안하여 부정확한 투영 주소에 대한 민감도를 줄입니다. 지역 패치 메모리는 시점 특화된 외형을 제공하는 반면, 순환 전역 메모리는 장면 문맥을 제공합니다. 또한 풋프린트 기반 검색(footprint-guided retrieval)은 고정된 지역 읽기 예산 내에서 과거 패치를 선택합니다. 동일한 검색 및 읽기 예산 조건에서 GLIMPSE는 결정론적 위치 이동 방식 대비 기하학적 대응성과 측광 일관성(photometric consistency)을 향상시킵니다.
비디오 월드 모델(World Model, WM)은 자가 로봇(ego-robot)의 행동을 조건으로 현실적인 미래 관측을 상상(imagination)함으로써 정책 평가(policy evaluation) 및 개선에 대한 유망성을 보여주었습니다. 월드 모델은 미래에 대한 확률 분포를 모델링할 수 있지만, 정책 평가 및 개선은 일반적으로 명목적 상상(nominal imagination)에 의존하므로 지나치게 많은 샘플을 추출하지 않는 한 로봇 행동의 치명적인 영향(high-impact)을 초래하는 결과를 놓치기 쉽습니다. 월드 모델 상상을 통한 강건한 정책 평가 및 개선을 가능하게 하기 위해, 본 논문에서는 디퓨전 기반 월드 모델의 초기 노이즈를 최적화(optimization)하여 추론(inference) 시점에 지정된 치명적이면서도 그럴듯한 결과로 상상을 유도하는 StressDream을 제안합니다. 그러나 고차원 노이즈 최적화는 어렵습니다. 생성된 비디오에서 미묘하고 장면에 종속적인 목표 이벤트를 추론해야 하는 동시에, 타당하지 않은 상상을 초래하는 분포 외(OOD) 노이즈를 방지해야 하기 때문입니다. 저자들은 이를 두 가지 상호보완적인 목적 함수를 통해 해결합니다. 생성된 비디오를 추론하여 유익한 그래디언트를 제공하는 비전-언어 모델(VLM) 기반의 시맨틱 목적 함수와, 최적화된 노이즈가 OOD로 벗어나는 것을 방지하는 타당성 목적 함수입니다. 자율주행 및 로봇 조작을 위한 최고 수준의 비디오 월드 모델을 통해, StressDream이 과제 실패와 같이 추론 시점에 텍스트로 지정된 치명적이면서도 타당한 결과로 상상을 효과적으로 유도함을 보여주며, 그럴듯한 미래에 바람직하지 않은 결과가 포함된 행동을 식별함으로써 강건한 정책 평가 및 개선을 가능하게 합니다. 비디오 결과는 https://stressdream.github.io/ 에서 확인할 수 있습니다.