월드 모델(world model)은 행위자(actor)의 현재 시야를 벗어난 영역을 어떻게 지속적으로 관찰할 수 있을까요? 비디오 월드 모델은 에이전트의 행동에 따라 환경이 어떻게 변화하는지 시뮬레이션하지만, 여전히 행위자 중심적입니다. 물체가 행위자의 시야를 벗어나면 그 변화에 대한 직접적인 근거를 잃어버려, 다시 시야에 들어올 때 해당 물체의 상태와 역학(dynamics)을 유지하지 못하는 경우가 많습니다. 이를 해결하기 위해 본 논문에서는 에이전트 중심 시점을 위한 원근 행위자와 선택된 세계 영역을 지켜보는 하나 이상의 파노라마 관찰자를 결합하여 생성함으로써 관찰과 행동을 분리하는 World Observer를 제안합니다. 이를 통해 행위자의 시야를 벗어난 물체도 관찰자 시점 내에서 시각적으로 지속해서 변화할 수 있어, 다시 시야에 들어올 때 업데이트된 상태가 반영됩니다. 명시적인 기하학적 대응을 위해 공유된 파노라마 소스로부터 워핑하여 행위자와 관찰자를 그라운딩(grounding)하며, 재진입 시 미세한 외형을 복원하기 위해 고해상도 원근 참조의 Observer Sink를 도입합니다. 관찰자는 행위자와 분리되어 있으므로 장면에 자유롭게 배치할 수 있고, 더 넓은 범위를 커버하기 위해 여러 위치로 확장할 수 있으며, 제어 신호로 구동하여 시야 밖의 변화를 유도할 수도 있습니다. 시야 밖 변화를 평가하기 위해 월드 공간 지표와 실제 및 가상 장면을 아우르는 벤치마크를 추가로 도입합니다. World Observer는 시각적 충실도, 카메라 제어 및 3D 일관성에서 경쟁력을 유지하면서 시야 밖 역학을 크게 향상시킵니다.
본 연구에서는 전방향(omnidirectional) 표현의 회전 등변(rotation-equivariant) 속성을 활용하여 파노라마 월드 모델의 장거리 메모리 문제를 해결하고자 한다. 이때 회전은 암묵적인 기하학적 변환으로 처리된다. 이러한 통찰을 바탕으로, 우리는 PanoWorld를 제안한다. PanoWorld는 Dense Panoramic Ray-Conditioning(DPRC)과 Geometry-aware Memory Augmentation(GMA)을 통해 현재 액션 모델링 및 장거리 메모리 모두에서 고정 방향(fixed heading)을 이용해 카메라 궤적을 평행 이동(translation)으로 단순화한다. 이어서, 각 구성 요소를 점진적으로 최적화하는 3단계 학습 파이프라인을 도입한다. 기존 데이터셋이 상대적으로 안정적인 조건에서 구성된 것과 달리, 대규모 공간 변화 및 다양한 조명 조건 하에서의 물리적 일관성을 보다 효과적으로 평가하기 위해 World360을 구축하였다. World360은 파노라마 무인 항공기(UAV)로 수집한 실세계 동영상 클립과 AirSim360으로 생성한 고품질 시뮬레이션 클립으로 구성된 대규모 데이터셋이다. World360에서의 광범위한 실험을 통해 PanoWorld의 효과가 입증되었으며, 대안적 방법들을 큰 마진으로 능가하였다. 모델, 학습 코드, 데이터셋은 공개될 예정이다. 자세한 내용은 프로젝트 페이지(https://lihaoy-ux.github.io/panoworld-page/)에서 확인할 수 있다.
Canvas360은 기하학적 인식 사전학습과 문맥 내(in-context) 파노라마 생성을 결합한 2단계 프레임워크로, 병렬 깊이 생성, velocity circular padding, 유사도 손실 정규화를 통해 구형 공간의 기하학적 일관성과 경계 연속성을 확보한다. 스타일 전환, 인페인팅, 아웃페인팅, 편집을 포괄하는 100만 쌍 규모의 Canvas360Dataset을 구축하고 토큰 수준 연결로 통합 프레임워크를 학습한 결과, 파노라마 특화 FAED 지표에서 기존 방법 대비 우수한 성능을 달성했다.
단일 실내 파노라마를 입력받아 자유 시점 탐험이 가능한 3D 가우시안(3DGS) 장면을 직접 생성하는 Pano2World를 제안하며, 기존의 반복적 뷰별 완성 방식이나 비디오 생성 모델의 연속 궤적 제약 문제를 View-Aware Attention Routing 기반의 파노라믹 확산 모델(PanoDiT)과 은닉 특징을 3D 표현으로 직접 변환하는 Latent Feature Adapter로 해결한다. 다중 위치 파노라믹 새로운 시점 합성(novel-view synthesis) 벤치마크에서 기존 방법들을 크게 능가하며 생성 효율성도 향상됨을 입증했다.