객체 포즈 추정(Object pose estimation)은 3D 컴퓨터 비전(CV)의 근본적인 문제입니다. 최근 최신(SOTA) 접근법들이 뛰어난 성능을 달성하고 있지만, 새로운 카테고리와 보지 못한 장면에 대한 일반화는 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 카테고리 무관 9차원(9D) 객체 포즈 추정을 위한 통합 모델인 UniPose9D를 제안합니다. 인스턴스 마스크/ROI와 RGB-D 관측 또는 예측된 깊이(depth)를 포함한 RGB 이미지가 주어지면, 모델은 카테고리 레이블, CAD 모델, 평균 형태 사전 정보(mean-shape priors), 참조 뷰(reference views) 없이 회전, 평행 이동(translation), 미터법 크기(metric size)를 추정합니다. 구체적으로 UniPose9D는 관측된 객체 기하구조에서 포인트 쌍을 샘플링하고, DINOv2 및 PointNet 특징을 활용하여 각 쌍에 대한 NOCS 좌표를 예측합니다. 정확도를 향상시키기 위해 적응형 임계값을 갖는 포인트 쌍 기반 RANSAC N-hop Kabsch-Umeyama 알고리즘을 도입합니다. 나아가 대칭적 모호성을 해결하기 위해 플로우 매칭(flow matching)을 적용하고, 기존 공개 데이터셋의 포즈 어노테이션을 큐레이션 및 정렬하여 대규모 학습 데이터셋을 구축합니다. 8개 데이터셋에 대한 실험을 통해 단일 통합 모델이 표준 벤치마크에서 경쟁력 있는 성능을 달성하는 동시에, 보지 못한 객체, 보지 못한 카테고리, 야생(in-the-wild) 시나리오로 잘 일반화됨을 보입니다. 코드와 모델은 https://github.com/qq456cvb/UniPose9D 에서 확인할 수 있습니다.
범주 수준(category-level) 객체 포즈 추정은 알려진 범주 내에서 보지 못한 인스턴스의 회전, 평행 이동 및 미터 단위 크기를 예측합니다. 많은 고정밀 RGB-D 방식은 외부 인스턴스 분할과 크롭 기반 포즈 추정에 의존하므로, 별도의 단계와 객체 수에 의존하는 처리 비용이 발생하여 실시간 추론(inference)을 저해합니다. 정확한 포즈 추정을 실시간으로 구현하기 위해, 본 논문에서는 엔드투엔드로 학습 가능한 쿼리 기반 RGB-D 세트 예측기인 RYOPO를 제시합니다. RYOPO는 명시적인 CAD 기반 형상 사전 정보나 별도로 학습된 인스턴스 분할기 없이도 객체를 공동으로 검출 및 분할하고 이들의 9-DoF 포즈를 추정합니다. 공유된 이미지 및 씬 인코딩은 객체별 크롭 인코딩의 반복을 방지합니다. 쿼리 조건부 기하학 경로는 관측된 3D 포인트 및 RGB 특징을 객체 쿼리와 연결하고 공유된 씬 컨텍스트를 통합합니다. 객체 중심 리파인먼트는 도출된 포인트 기술자를 활용하여 포즈 조건부 교차 어텐션(cross-attention)과 순환 잔차 보정을 통해 명시적 포즈 상태를 업데이트합니다. NOCS 데이터셋에서 RYOPO는 기존에 발표된 RGB-D 공동 검출 및 포즈 추정 결과를 크게 개선합니다. 또한 REAL275 및 HouseCat6D의 전 객체 평가에서 2단계 방식들과 비교해 경쟁력 있는 성능을 달성하는 동시에, RTX A6000에서 31.8 FPS로 실시간 풀프레임 포즈 추정을 가능하게 합니다. 프로젝트 페이지: https://yopo-series.github.io/RYOPO-project-page/.
새로운 시점 합성(NVS, Novel View Synthesis)은 단일 또는 다수의 이미지로부터 장면의 보이지 않는 시점을 생성하여, 사용자가 임의의 시점에서 객체를 자유롭게 탐색할 수 있게 한다. 이 작업을 위한 생성 모델의 최근 인상적인 질적 향상에도 불구하고, 기존 방법들은 입력 상대적 카메라 포즈를 사용하거나 희소한 전역 시점 생성에 제한되어 있어 목표 시점의 전역적이고 직관적인 제어를 제공하는 데 어려움을 겪는다. 이러한 전역 포즈 제어의 부재는 NVS가 잠재적으로 가능하게 할 수 있는 다운스트림 작업의 수를 심각하게 제한한다. 이러한 한계를 해결하기 위해, 우리는 단일 또는 소수의 포즈 없는(unposed) 이미지를 입력으로 요구하는, 사용자 정의 가능한 정규화된 객체 좌표 공간(NOCS, Normalized Object Coordinate Space)에서의 정밀한 카메라 제어를 위한 새로운 접근 방식을 제안한다. 우리의 방법은 NOCS에서 목표 시점의 절대 카메라 포즈만을 사용하여 동작하며, 상대적 세계 프레임이나 입력 이미지의 카메라 포즈를 필요로 하지 않는다. NVS를 독립적인 생성 작업으로 처리하는 이전 방법들과 달리, 우리는 이를 이미지 편집 문제로 공식화하고 최첨단 편집 모델을 기반으로 구축하여 그 우수한 일반화 능력을 활용한다. 카메라 정보는 문맥 내 멀티모달 컨디셔닝(in-context multi-modal conditioning) 전략을 통해 전용 카메라 토큰으로 주입된다. NOCS의 고유한 모호성을 완화하기 위해, 객체의 정준 좌표 프레임(canonical coordinate frame)을 명시적으로 정의하는 텍스트 설명을 통합하며, 이는 보이지 않는 객체 카테고리로의 일반화도 향상시킨다. 또한, 우리는 일관되게 정렬된 방향과 해당 NOCS 텍스트 정의를 갖춘 고품질 데이터셋을 구축한다. 광범위한 실험을 통해 우리의 방법이 다양한 카테고리에 걸쳐 임의의 포즈 없는 이미지로부터 정확하고 일관된 방향으로 새로운 시점을 강건하게 생성하며, 최첨단 이미지 품질과 충실도를 달성함을 입증한다.