Native3D: 통합 메시-텍스처 모델링 및 의미론적 정렬을 통한 엔드투엔드 3D 장면 생성
Native3D: End-to-End 3D Scene Generation via Unified Mesh-Texture Modeling and Semantic Alignment
본 논문은 2D 중간 표현을 완전히 우회하는 최초의 엔드투엔드 3D 장면 생성 프레임워크인 Native3D를 제시한다. 기존 접근법은 일반적으로 사전학습된 확산 모델(diffusion model)을 활용하기 위해 3D 표현을 2D 도메인에 적응시켜야 하며, 이는 기하학적 구조 왜곡과 텍스처 세부 품질 저하를 포함한 도메인 적응 문제를 필연적으로 초래한다. 이러한 한계를 해결하기 위해, 우리는 트랜스포머 기반 장면 인코더를 통해 기하학적 구조와 텍스처 특징을 동시에 모델링하는 통합 메시-텍스처 결합 표현을 설계하여, 장면 내 객체들 간의 공간적 관계와 시각적 일관성을 효과적으로 유지한다. 나아가, 잠재 공간(latent space)에서 다단계 의미론적 표현을 정렬하기 위해 개선된 대조 학습(contrastive learning) 메커니즘을 적용하는 3D 표현 정렬 손실(3D REPA Loss)을 제안하여, 기하학적 및 텍스처 충실도를 크게 향상시킨다. 실험 결과, Native3D는 생성 품질과 편집 유연성 모두에서 기존 방법을 능가하며, 3D 장면 편집을 위한 새로운 해법을 제공함을 입증한다.