YouTube-Occ: YouTube 비디오로부터 실내 3D 시맨틱 점유 예측 학습하기
YouTube-Occ: Learning Indoor 3D Semantic Occupancy Prediction from YouTube Videos
3D 시맨틱 점유 예측(3D semantic occupancy prediction)은 세밀한 장면 이해에 매우 중요하지만, 프라이버시에 민감한 실내 환경에서의 발전은 대규모 주석이 달린 3D 데이터의 부족으로 인해 근본적으로 가로막혀 있습니다. 이러한 한계를 극복하기 위해, 본 연구에서는 광범위한 수작업 주석 과정을 우회하는 동시에 풍부하고 캘리브레이션되지 않은 인터넷 상의 야생(in-the-wild) 비디오로부터 실내 3D 시맨틱 점유 예측을 학습하는 방법을 탐구합니다. 구체적으로, 원시 웹 비디오를 처리하고 카메라 기하 구조를 추정하며 장면 포인트 클라우드를 재구성하고 조밀한 시맨틱 의사 레이블(pseudo-labels)로 이를 강화하기 위해 2D 및 3D 파운데이션 모델을 활용하는 자동화된 데이터 파이프라인을 포함한 YouTube-Occ를 소개합니다. 그러나 이러한 그럴듯한 의사 레이블은 단순한 지도 방식(naive supervision) 하에서는 성능 향상을 이끌어내지 못합니다. 이러한 난관을 해결하기 위해, 본 연구에서는 이중 정렬 전략을 갖춘 특징 증류(feature distillation) 기반의 사전학습(pre-training) 프레임워크를 추가로 제안합니다. 이 프레임워크 내에서 프레임 내 정렬(intra-frame alignment)은 복셀 앵커 가우시안화(voxel-anchored Gaussianization) 모듈을 활용하여 3D 특징을 해당하는 2D 사전 정보(prior)와 정렬하며, 장면 간 정렬(cross-scene alignment)은 클래스 프로토타입 증류를 통해 전역적인 시맨틱 일관성을 달성합니다. 실증적으로 YouTube-Occ는 NYUv2 및 Occ-ScanNet 벤치마크의 세 가지 주요 아키텍처 전반에서, 특히 제한된 데이터 조건 하에서 일관된 성능 향상을 제공합니다. 향후 연구에 영감을 주기를 바라며 코드와 데이터를 공개할 예정입니다.