PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.07604v2cs.CV

SAM 3D Animal: 실제 환경 이미지로부터의 프롬프트 기반 동물 3D 재구성

SAM 3D Animal: Promptable Animal 3D Reconstruction from Images in the Wild

실제 환경(in the wild)에서의 동물 3D 재구성은 종(species) 간 큰 변동성, 빈번한 가림(occlusion), 그리고 다중 동물 장면의 보편성으로 인해 여전히 어려운 과제이며, 기존 방법들은 대부분 단일 동물 설정에만 초점을 맞추고 있다. 우리는 단일 이미지로부터 다중 동물 3D 재구성을 수행하는 최초의 프롬프트 기반(promptable) 프레임워크인 SAM 3D Animal을 제시한다. SMAL+ 파라메트릭 동물 모델을 기반으로, 우리의 방법은 여러 개체를 동시에 재구성하며 키포인트와 마스크 형태의 유연한 프롬프트를 지원하여 혼잡하고 가려진 장면에서 더 신뢰할 수 있는 구분(disambiguation)을 가능하게 한다. 이러한 모델을 학습시키기 위해, 우리는 종, 상호작용, 가림 패턴의 다양성을 높이도록 설계된 5천 장 이상의 이미지를 포함하는 다중 동물 3D 데이터셋인 Herd3D를 추가로 소개한다. Animal3D, APTv2, Animal Kingdom 데이터셋에 대한 실험 결과, 우리의 프레임워크는 기존의 모델 기반 및 모델-프리 방법들보다 최첨단(state-of-the-art) 성능을 달성하며, 실제 환경에서 프롬프트 기반 동물 3D 재구성을 위한 확장 가능하고 효과적인 솔루션임을 입증한다.