GrapeSplat: 피드포워드 3D 가우시안 스플래팅을 위한 통합 포즈 불요 인코딩 기반 기하학적 그라운딩 재구성
GrapeSplat: Geometry-Grounded Reconstruction via Amalgamated Pose-Free Encoding for Feed-Forward 3D Gaussian Splatting
피드포워드(feed-forward) 3D 가우시안 스플래팅(3D Gaussian Splatting)은 이제 포즈가 없고 캘리브레이션되지 않은 이미지로부터 렌더링 가능한 장면을 재구성합니다. 그러나 대부분의 모델은 측광 일관성(photometric consistency)만을 지도 학습하고 픽셀 단위로 가우시안을 예측하므로, 전역 구조가 취약해지며 프리미티브 수가 이미지 해상도 및 시점 수에 종속됩니다. 이를 해결하기 위해, GrapeSplat은 다중 시점 단서들을 복셀 정렬 장면 표현으로 통합하고 학습된 그리드로부터 직접 가우시안을 디코딩하여 장면별 최적화(optimization)나 후처리를 필요로 하지 않습니다. Atlas Encoder는 모든 시점을 예측된 3D 포인트에 고정된 픽셀 단위 기하학 및 외형 특징으로 변환합니다. PEACH-Vox는 정확한 닫힌 형태의 역함수(closed-form inverse)를 갖는 매끄러운 축별 매핑을 통해 무한한 장면을 유계된 희소 그리드로 압축-신장(compand)합니다. 이후 Sparse Decoder는 희소 합성곱(sparse convolution)으로 그리드를 통합하고 전체 장면을 점유된 셀당 다수의 가우시안으로 디코딩합니다. 이러한 통합 표현은 희소 복셀 점유를 활용하며, 여기서 가우시안 수는 점유된 셀을 따르고 시점이 장면을 커버함에 따라 포화되는 반면, 그리드 해상도가 그 상한을 설정합니다. GrapeSplat은 단 한 번의 순전파(forward pass)만으로 포즈 없는 이미지들을 렌더링 가능한 가우시안 장면으로 변환합니다. 8개 시점 시퀀스에서 2D 및 3D 지도 학습으로 훈련된 이 모델은 실내 및 무한한 장면에 걸쳐 4개에서 64개 시점까지 제로샷(zero-shot)으로 일반화됩니다. 코드와 학습된 가중치는 https://github.com/VAISR/GrapeSplat 에서 확인할 수 있습니다.