범주 수준(category-level) 객체 포즈 추정은 알려진 범주 내에서 보지 못한 인스턴스의 회전, 평행 이동 및 미터 단위 크기를 예측합니다. 많은 고정밀 RGB-D 방식은 외부 인스턴스 분할과 크롭 기반 포즈 추정에 의존하므로, 별도의 단계와 객체 수에 의존하는 처리 비용이 발생하여 실시간 추론(inference)을 저해합니다. 정확한 포즈 추정을 실시간으로 구현하기 위해, 본 논문에서는 엔드투엔드로 학습 가능한 쿼리 기반 RGB-D 세트 예측기인 RYOPO를 제시합니다. RYOPO는 명시적인 CAD 기반 형상 사전 정보나 별도로 학습된 인스턴스 분할기 없이도 객체를 공동으로 검출 및 분할하고 이들의 9-DoF 포즈를 추정합니다. 공유된 이미지 및 씬 인코딩은 객체별 크롭 인코딩의 반복을 방지합니다. 쿼리 조건부 기하학 경로는 관측된 3D 포인트 및 RGB 특징을 객체 쿼리와 연결하고 공유된 씬 컨텍스트를 통합합니다. 객체 중심 리파인먼트는 도출된 포인트 기술자를 활용하여 포즈 조건부 교차 어텐션(cross-attention)과 순환 잔차 보정을 통해 명시적 포즈 상태를 업데이트합니다. NOCS 데이터셋에서 RYOPO는 기존에 발표된 RGB-D 공동 검출 및 포즈 추정 결과를 크게 개선합니다. 또한 REAL275 및 HouseCat6D의 전 객체 평가에서 2단계 방식들과 비교해 경쟁력 있는 성능을 달성하는 동시에, RTX A6000에서 31.8 FPS로 실시간 풀프레임 포즈 추정을 가능하게 합니다. 프로젝트 페이지: https://yopo-series.github.io/RYOPO-project-page/.
클래스 내 미지의 물체로 일반화할 수 있는 카테고리 수준 물체 자세 추정(COPE)은 로봇 3D 장면 이해를 위한 핵심 기술로 자리 잡았습니다. 그러나 기존 COPE 방법들은 여전히 새로운 물체 카테고리에 대해 노동 집약적인 실제 환경 학습(training) 데이터의 재수집을 요구하므로 실제 응용에서의 확장성이 제한됩니다. 본 논문은 렌더링된 합성 데이터만으로 모델(model)을 학습하고 실제 환경 배포로 직접 일반화하는 합성-현실(Syn2Real) 일반화 COPE 달성을 목표로 합니다. 주요 과제는 합성 데이터와 실제 데이터 간의 상당한 도메인 격차, 특히 텍스처 외형 차이에 있습니다. 이를 해결하기 위해 동일 카테고리 내 물체 간의 시맨틱 공통점을 포착하는 도메인 불변 표현을 학습함으로써 도메인 일반화를 향상시키는 것을 목표로 합니다. 본 연구에서는 특징(feature) 인코더의 도메인 특화 특징에 대한 민감도를 줄이기 위해 2D 및 3D 시맨틱 일관성 제약을 도입합니다. 또한 조밀한 크로스 모달리티 융합을 활용하여 자세 추정을 더욱 정밀화하는 2D-3D 크로스 일관성 학습을 수행하는 엔드투엔드 자세 회귀 프레임워크를 제안합니다. 실제 로봇 배포에는 단순성과 효과성이 필수적이므로, 본 모델은 전역 특징만을 기반으로 동작하여 매우 경량화되고 효율적인 아키텍처를 구현합니다. REAL275 및 Wild6D 벤치마크와 실제 로봇 조작 장면에 대한 광범위한 실험을 통해 본 패러다임의 우수한 Syn2Real 일반화 성능을 입증합니다. 코드와 데모는 https://paperreview99.github.io/GenCOPE/ 에서 공개되어 있습니다.
카테고리 수준 객체 자세 추정(category-level object pose estimation)은 학계와 산업계 모두에서 중요하면서도 어려운 과제로, 키포인트 기반 대응 패러다임을 활용하여 눈부신 성과를 거두어 왔다. 그러나 기존 방법들의 대부분은 더 강력한 특징(feature) 학습에 점점 더 의존하면서, 확립된 대응 관계가 다양한 변형에 걸쳐 기하학적으로 안정적인지 여부를 간과하는 경향이 있다. 이로 인해 클래스 내 형상 변화 및 가림(occlusion) 상황에서 취약한 자세 복원이 초래되는 경우가 많다. 이러한 문제를 해결하기 위해, 우리는 안정적인 키포인트를 고정하고 자세 불변 단서를 집계하여 신뢰할 수 있는 정준 매핑(canonical mapping)과 정확한 자세 추정을 달성하는 새로운 삼각형 불변 기하학적 일관성 학습 기반 카테고리 수준 객체 자세 추정 방법인 TriCons-Pose를 개발한다. 구체적으로, 정규화된 쌍별 거리 매칭을 통해 교차 시점 구조적 일관성을 강제함으로써 강건한 키포인트를 식별하는 구조 일관성 키포인트 검출기(Structure-Consistent Keypoint Detector, SCKD)를 설계한다. 또한, 삼각형 기반 자세 불변 디스크립터를 지역-전역 어텐션(attention) 메커니즘에 주입하여 키포인트 표현을 보강하는 자세 불변 기하학적 집계기(Pose-Invariant Geometric Aggregator, PIGA)를 제안한다. 제안된 프레임워크는 표준 목적 함수를 사용하여 최적화되며, 추가적인 기하학적 일관성 손실(loss)을 통합한다. REAL275, CAMERA25, HouseCat6D 데이터셋에 대한 광범위한 실험을 통해 제안된 방법의 효과를 입증한다.