PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.07604v2cs.CV

SAM 3D Animal: 실제 환경 이미지로부터의 프롬프트 기반 동물 3D 재구성

SAM 3D Animal: Promptable Animal 3D Reconstruction from Images in the Wild

실제 환경(in the wild)에서의 동물 3D 재구성은 종(species) 간 큰 변동성, 빈번한 가림(occlusion), 그리고 다중 동물 장면의 보편성으로 인해 여전히 어려운 과제이며, 기존 방법들은 대부분 단일 동물 설정에만 초점을 맞추고 있다. 우리는 단일 이미지로부터 다중 동물 3D 재구성을 수행하는 최초의 프롬프트 기반(promptable) 프레임워크인 SAM 3D Animal을 제시한다. SMAL+ 파라메트릭 동물 모델을 기반으로, 우리의 방법은 여러 개체를 동시에 재구성하며 키포인트와 마스크 형태의 유연한 프롬프트를 지원하여 혼잡하고 가려진 장면에서 더 신뢰할 수 있는 구분(disambiguation)을 가능하게 한다. 이러한 모델을 학습시키기 위해, 우리는 종, 상호작용, 가림 패턴의 다양성을 높이도록 설계된 5천 장 이상의 이미지를 포함하는 다중 동물 3D 데이터셋인 Herd3D를 추가로 소개한다. Animal3D, APTv2, Animal Kingdom 데이터셋에 대한 실험 결과, 우리의 프레임워크는 기존의 모델 기반 및 모델-프리 방법들보다 최첨단(state-of-the-art) 성능을 달성하며, 실제 환경에서 프롬프트 기반 동물 3D 재구성을 위한 확장 가능하고 효과적인 솔루션임을 입증한다.

arXiv:2607.03789v1cs.CV

G²TAM: 기하학 기반 만능 추적 모델

G$^2$TAM: Geometry Grounded Track Anything Model

인간의 공간적 이해는 기하학과 의미론을 함께 인식함으로써 발생하며, 이를 통해 다양한 시점과 시간에 걸쳐 일관된 객체 식별 및 위치 추정이 가능하다. 현재의 비디오 분할 모델은 인스턴스 추적을 위해 명시적인 객체 외관 메모리 뱅크에 의존하지만, 대규모 시점 변화와 장기적인 가림(occlusion)에 취약하다. 현대의 피드포워드 3D 재구성 모델이 제공하는 공간적 일관성을 활용하여, 우리는 순서 없는 RGB 이미지 또는 비디오만을 사용해 3D에서 프롬프트 가능한 인스턴스 추적을 수행하는 통합 프레임워크인 기하학 기반 만능 추적 모델(G²TAM, Geometry Grounded Tracking Anything Model)을 제안한다. G²TAM은 공간적으로 정렬된 기하학적 표현을 암묵적 메모리로 활용하여 프레임과 시점에 걸쳐 안정적인 인스턴스 식별 및 위치 추정을 보장한다. 핵심 구성 요소는 시각 및 텍스트 프롬프트를 공유 기하학적 공간으로 통합하는 교차 모달 공간 인코더로, 이를 통해 엔드투엔드 공간 재구성과 인스턴스 일관적 마스크 예측이 가능하다. 학습 및 평가를 지원하기 위해, 벤치마킹 전용 검증 분할을 갖춘 대규모 데이터셋인 InsTrack을 구축하였다. 광범위한 실험을 통해 G²TAM이 강력한 교차 시점 일관성, 프롬프트 가능한 인스턴스 공간 추적, 비디오 객체 분할 및 공간 재구성을 달성함을 보여주며, 상호작용적이고 기하학 기반의 공간 추론을 위한 기반을 확립한다.