MessyKitchens: 접촉이 풍부한 객체 수준 3차원 장면 재구성
MessyKitchens: Contact-rich object-level 3D scene reconstruction
단안 3차원(3D) 장면 재구성은 최근 상당한 진전을 보였습니다. 최신 신경망 아키텍처와 대규모 데이터에 힘입어, 최근 방법들은 단일 이미지에서의 깊이 추정(depth estimation)에서 높은 성능을 달성하고 있습니다. 한편, 일반적인 장면을 개별 3D 객체로 재구성하고 분해하는 것은 다양한 객체 종류, 잦은 가림 현상(occlusion), 복잡한 객체 간 관계로 인해 여전히 어려운 과제로 남아 있습니다. 특히, 개별 객체의 형상 및 자세 추정을 넘어 로보틱스 및 애니메이션 분야의 응용에서는 객체가 상호 비침투성과 현실적인 접촉이라는 물리적 원리를 따르는 물리적으로 타당한 장면 재구성을 요구합니다. 본 연구에서는 두 가지 방향으로 객체 수준 장면 재구성을 발전시킵니다. 첫째, 어수선한 환경을 특징으로 하는 실제 장면을 담고 있으며 3D 객체 형상, 자세 및 정확한 객체 접촉 측면에서 고충실도 객체 수준 정답 레이블(ground truth)을 제공하는 새로운 데이터셋인 MessyKitchens를 소개합니다. 둘째, 단일 객체 재구성을 위한 최신 SAM 3D 접근법을 기반으로 하여, 이를 결합 객체 수준 장면 재구성을 위한 Multi-Object Decoder(MOD)로 확장합니다. 본 연구의 기여를 검증하기 위해, MessyKitchens가 정합 정확도(registration accuracy)와 객체 간 침투 측면에서 기존 데이터셋보다 크게 개선되었음을 보입니다. 또한 세 가지 데이터셋에서 다중 객체 재구성 접근법을 비교하여, MOD가 최신 기술(SOTA) 대비 일관되고 유의미한 성능 향상을 달성함을 입증합니다. 새로운 벤치마크, 코드 및 사전학습(pre-training) 모델은 프로젝트 웹사이트(https://messykitchens.github.io/)를 통해 공개될 예정입니다.