GSExplorer: 지속적 3DGS 월드 상태를 이용한 인터랙티브 월드 생성
GSExplorer: Interactive World Generation with a Persistent 3DGS World State
한국어 초록
인터랙티브 월드 생성에는 정확한 국소 제어와 긴 롤아웃에 걸친 안정적인 장면 일관성이 모두 요구된다. 기존 방법은 카메라 또는 기하 조건화를 통해 국소 생성을 개선하고 메모리 메커니즘으로 과거 맥락을 확장한다. 그러나 불완전한 목표 시점 안내와 장면 갱신 중 누적되는 불일치로 인해 장기 탐색은 여전히 어렵다. 본 논문은 지속적인 3D 가우시안 월드 상태를 중심으로 구성된 생성-재구성 프레임워크 \textbf{GSExplorer}를 제안한다. 각 단계에서 현재의 3DGS 장면은 비디오 생성기에 멀티모달 렌더링 조건을 제공하고, 카메라 기하는 별도의 상대 레이 인코딩 분기를 통해 주입된다. 생성된 비디오는 이후 SLAM 기반 재구성 백엔드로 다시 입력되며, 여기서 외형 및 기하 일관성 검사가 선택적 장면 갱신과 청크 간 자세 보정을 위한 공유 지지 마스크를 생성한다. 또한 장면 외삽 중 현실적인 3DGS 열화를 재현하는 데이터 구축 파이프라인을 설계하여, 열화된 멀티모달 렌더링과 실제 목표 비디오로 이루어진 29만 3천 개의 학습 쌍을 확보하였다. GSExplorer는 단일 단계 및 3단계 WorldScore 평가 모두에서 비교 방법들 중 가장 우수한 전체 성능을 달성하며, 단일 단계 외삽에서 카메라 제어 점수 99.07을 기록한다. 481프레임의 이탈 후 복귀 롤아웃에서도 강한 재방문 일관성을 보인다.
원문 초록
Interactive world generation requires both accurate local control and stable scene consistency over long rollouts. Existing methods improve local generation through camera or geometry conditioning and extend historical context with memory mechanisms. However, long-horizon exploration remains challenging due to incomplete target-view guidance and inconsistencies accumulated during scene updates. We present \textbf{GSExplorer}, a generation--reconstruction framework built around a persistent 3D Gaussian world state. At each step, the current 3DGS scene provides multimodal rendering conditions for a video generator, while camera geometry is injected through a separate Relative Ray Encoding branch. Generated videos are then fed back to a SLAM-based reconstruction backend, where appearance and geometric consistency checks produce a shared support mask for selective scene updates and cross-chunk pose refinement. We further design a data-construction pipeline that reproduces realistic 3DGS degradation during scene extrapolation, yielding 293K training pairs of degraded multimodal renderings and real target videos. GSExplorer achieves the best overall performance among the compared methods on both single-step and three-step WorldScore evaluation, including a Camera Control score of 99.07 in single-step extrapolation. On 481-frame leave-and-return rollouts, it also shows strong revisit consistency.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.01543v2제출 시각 미확인
- arXiv:2611.01543v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.