클래스 조건 3D 가우시안 생성을 위한 가시성 유도 구조화 측정 흐름
Visibility-Guided Structured Measure Flow for Class-Conditioned 3D Gaussian Generation
3D Gaussian Splatting(3DGS)은 실시간 고품질 3D 렌더링을 실용화했지만, 이 명시적 표현을 고유의 생성 공간으로 전환하는 것은 여전히 열린 과제로 남아 있다. 3DGS 객체를 직접 생성하기는 어렵다. 가우시안 프리미티브(primitive)가 순서 없고 크기가 가변적이며 국소적으로 밀집하고 렌더링 동작에 매우 민감하기 때문이다. 우리는 클래스 조건 3D 가우시안 생성을 위한 가시성 유도 구조화 측정 흐름(measure flow) 프레임워크인 VISTA-GS를 제안한다. 3DGS 객체를 평면적인 프리미티브 시퀀스나 일반적인 잠재 토큰(token) 격자로 다루는 대신, 불투명도(opacity), 이방성 공분산(anisotropic covariance), 다중 뷰 가시성(multi-view visibility)으로 가중된 구조화된 가우시안 측정(measure)으로 공식화한다. 이 공식화를 바탕으로, 3DGS 객체의 순열 불변(permutation-invariant), 가변 크기 호환(variable-size-compatible), 렌더링 인식(rendering-aware) 잠재 표현을 학습하는 가시성 인식 측정 VAE를 도입한다. 또한 클래스 조건 사전분포(prior)를 학습된 3DGS 측정 분포 쪽으로 운반(transport)하면서, 디코딩된 객체를 다중 뷰 렌더링 분포와 정렬하는 렌더러 일관(renderer-consistent) 측정 흐름을 개발한다. 객체 배치와 국소 디테일을 보존하기 위해 VISTA-GS는 흐름 예측 시 전역 클래스 의미론, 국소 가우시안 측정 패치, 공간 앵커(spatial anchor)를 결합하는 구조 보존 패치 운반(structure-preserving patch transport)을 통합한다. VISTA-Obj30에서 VISTA-GS는 기하, 외관, 뷰 일관성 오류, 생성 속도 전반에 걸쳐 가장 강한 기준선 대비 대략 60–72% 개선한다. 이 설계는 인스턴스별 최적화, 다중 뷰 이미지 합성, 또는 재구성 기반 리프팅(lifting) 파이프라인에 의존하지 않고도 일관되고 세밀하며 뷰 일관적인 3D 가우시안 객체의 효율적 생성을 가능하게 한다. 프로젝트 코드와 모델(model) 체크포인트는 공개될 예정이다.