GimbalDiffusion은 중력 방향을 전역 기준으로 삼는 절대 좌표계 기반 카메라 제어 프레임워크로, 360° 파노라마 영상을 학습 데이터로 활용해 기존 방법이 처리하지 못한 극단적인 피치·롤 회전을 포함한 다양한 카메라 궤적을 텍스트-비디오 생성 모델에 적용한다. 또한 프롬프트 내용과 카메라 방향의 충돌을 방지하는 null-pitch conditioning 기법과 극단적 카메라 앵글 및 프롬프트-카메라 얽힘(entanglement)을 평가하는 새로운 벤치마크를 제안한다.
체화 AI(Embodied AI)와 VR 애플리케이션에 대한 수요 증가로, 희소 입력으로부터 고품질 3D 실내 장면을 합성할 필요성이 부각되고 있다. 그러나 기존 접근법은 전역적 일관성을 유지하면서 크게 보이지 않는 영역의 방대한 결측 기하를 추론하는 데 어려움을 겪으며, 종종 국소적으로는 그럴듯하지만 전역적으로는 불일치하는 재구성을 생성한다. 우리는 명시적 3D Gaussian Splatting(3DGS)과 비디오 확산 모델의 시간적 일관성 사전(prior)을 결합하여 전체 360도 실내 환경을 재구성하는 프레임워크 Rein3D를 제안한다. 우리 접근법은 "복원-정제(restore-and-refine)" 패러다임을 따른다: 원점에서 시작하는 궤적을 따라 불완전한 파노라믹 비디오를 렌더링하는 방사형 탐험 전략을 사용하여, 거친 3DGS 초기화로부터 가려진 영역을 효과적으로 드러낸다. 이 시퀀스는 파노라믹 비디오-투-비디오 확산 모델로 복원되고, 비디오 초해상도(super-resolution)를 통해 추가로 향상되어 고충실도 기하와 텍스처를 합성한다. 마지막으로, 이렇게 정제된 비디오는 의사 정답(pseudo-ground truth)으로 작용하여 전역 3D Gaussian 필드를 갱신한다. 이 작업을 지원하기 위해, 확산 기반 장면 복원을 위한 15K개 이상의 깨끗한-열화 쌍 파노라믹 비디오 데이터셋 PanoV2V-15K를 구축한다. 실험 결과 Rein3D는 사실적인(photorealistic) 전역적으로 일관된 3D 장면을 생성하며, 기존 베이스라인 대비 장거리 카메라 탐험을 크게 개선함을 보여준다.