MEGA: 공간 시각 증류를 통한 3D 가우시안 스플래팅 기반 객체 수준 메시 추출
MEGA: Object-Level Mesh Extraction from 3D Gaussian Splatting via Spatial Visual Distillation
3D 가우시안 스플래팅(3D Gaussian Splatting, 3DGS) 기반의 메시 추출은 3D 가우시안에 정확한 기하학적 구조를 부여하여 명시적이고 정밀한 3D 점유 공간(occupancy)을 표현하는 것을 목표로 합니다. 그러나 기존 방법들은 주로 장면 수준의 메시 추출에 집중되어 있어 객체 수준의 점유 공간을 표현하지 못하며, 종종 닫히지 않은(non-watertight) 표면을 생성합니다. 이러한 한계를 극복하기 위해, 본 논문에서는 복잡한 3DGS 장면에서 객체 수준의 닫힌(watertight) 메시를 추출하는 '분할 후 메시 생성(segment-then-mesh)' 프레임워크인 MEGA(Mesh Extraction from GAussians)를 제안합니다. MEGA의 핵심은 공간 시각 증류(Spatial Visual Distillation, SVD)와 마스크 기반 신경망 표면 재구성 모듈입니다. SVD는 3DGS 모델을 교사(teacher)로 취급하여 다양한 카메라 포즈를 샘플링하고 분할된 각 객체의 해당 뷰를 렌더링합니다. 이후 이러한 관측 결과는 광도적 감독(photometric supervision)을 통해 메시 재구성 모델을 학습하는 데 사용됩니다. 널리 사용되는 여러 벤치마크에 대한 광범위한 실험을 통해 MEGA가 정확한 객체 수준 3D 점유 공간 복원에서 최고 수준의 성능을 달성함을 입증합니다. 나아가 MEGA는 기하학적 점유 공간을 위한 고품질 객체 수준 메시와 사실적인 렌더링을 위한 3DGS 표현을 결합함으로써 복잡한 물리적 상호작용을 가능하게 합니다.