QueryOcc: Query-based Self-Supervision for 3D Semantic Occupancy
이미지에서 3D 장면 기하학과 의미론을 학습하는 것은 컴퓨터 비전의 핵심 과제이자 자율 주행을 위한 핵심 능력입니다. 대규모 3D 어노테이션(annotation)은 비용이 매우 높기 때문에, 최근 연구에서는 수동 라벨 없이 센서 데이터로부터 직접 자기 지도 학습(self-supervised learning)을 탐색합니다. 기존 접근 방식들은 3D 구조가 암묵적으로만 나타나는 2D 렌더링 일관성에 의존하거나, 누적된 라이다 포인트 클라우드에서 얻은 이산화된 복셀 그리드에 의존하여 공간 정밀도와 확장성을 제한합니다. QueryOcc는 인접한 프레임에 걸쳐 샘플링된 독립적인 4D 시공간 쿼리를 통해 연속적인 3D 의미론적 오큐팬시(semantic occupancy)를 직접 학습하는 쿼리 기반 자기 지도 프레임워크입니다. 이 프레임워크는 비전 파운데이션 모델(vision foundation models)에서 파생된 의사 포인트 클라우드 또는 원시 라이다 데이터로부터의 지도(supervision)를 지원합니다. 메모리 사용량이 일정한 상태에서 장거리 지도와 추론(reasoning)을 가능하게 하기 위해, 근거리 세부 사항은 보존하면서 원거리 영역을 부드럽게 압축하는 수축적 장면 표현(contractive scene representation)을 도입했습니다. QueryOcc는 자기 지도 Occ3D-nuScenes 벤치마크에서 초당 11.6 프레임(FPS)의 속도로 실행되면서 의미론적 RayIoU에서 기존 카메라 기반 방법보다 26% 더 높은 성능을 보여, 직접적인 4D 쿼리 지도가 강력한 자기 지도 오큐팬시 학습을 가능하게 함을 입증했습니다. https://research.zenseact.com/publications/queryocc/