arXiv:2203.15309

MatchNorm: Learning-based Point Cloud Registration for 6D Object Pose Estimation in the Real World

Zheng Dang, Lizhou Wang, Yu Guo, Mathieu Salzmann

제출 2022-03-29

원문 초록

In this work, we tackle the task of estimating the 6D pose of an object from point cloud data. While recent learning-based approaches to addressing this task have shown great success on synthetic datasets, we have observed them to fail in the presence of real-world data. We thus analyze the causes of these failures, which we trace back to the difference between the feature distributions of the source and target point clouds, and the sensitivity of the widely-used SVD-based loss function to the range of rotation between the two point clouds. We address the first challenge by introducing a new normalization strategy, Match Normalization, and the second via the use of a loss function based on the negative log likelihood of point correspondences. Our two contributions are general and can be applied to many existing learning-based 3D object registration frameworks, which we illustrate by implementing them in two of them, DCP and IDAM. Our experiments on the real-scene TUD-L, LINEMOD and Occluded-LINEMOD datasets evidence the benefits of our strategies. They allow for the first time learning-based 3D object registration methods to achieve meaningful results on real-world data. We therefore expect them to be key to the future development of point cloud registration methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09985v2cs.CV공통 태그 Pose Estimation, Point Cloud Registration

UniPose9D: 범용 카테고리 무관 객체 포즈 추정

UniPose9D: Universal Category-Agnostic Object Pose Estimation

객체 포즈 추정(Object pose estimation)은 3D 컴퓨터 비전(CV)의 근본적인 문제입니다. 최근 최신(SOTA) 접근법들이 뛰어난 성능을 달성하고 있지만, 새로운 카테고리와 보지 못한 장면에 대한 일반화는 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 카테고리 무관 9차원(9D) 객체 포즈 추정을 위한 통합 모델인 UniPose9D를 제안합니다. 인스턴스 마스크/ROI와 RGB-D 관측 또는 예측된 깊이(depth)를 포함한 RGB 이미지가 주어지면, 모델은 카테고리 레이블, CAD 모델, 평균 형태 사전 정보(mean-shape priors), 참조 뷰(reference views) 없이 회전, 평행 이동(translation), 미터법 크기(metric size)를 추정합니다. 구체적으로 UniPose9D는 관측된 객체 기하구조에서 포인트 쌍을 샘플링하고, DINOv2 및 PointNet 특징을 활용하여 각 쌍에 대한 NOCS 좌표를 예측합니다. 정확도를 향상시키기 위해 적응형 임계값을 갖는 포인트 쌍 기반 RANSAC N-hop Kabsch-Umeyama 알고리즘을 도입합니다. 나아가 대칭적 모호성을 해결하기 위해 플로우 매칭(flow matching)을 적용하고, 기존 공개 데이터셋의 포즈 어노테이션을 큐레이션 및 정렬하여 대규모 학습 데이터셋을 구축합니다. 8개 데이터셋에 대한 실험을 통해 단일 통합 모델이 표준 벤치마크에서 경쟁력 있는 성능을 달성하는 동시에, 보지 못한 객체, 보지 못한 카테고리, 야생(in-the-wild) 시나리오로 잘 일반화됨을 보입니다. 코드와 모델은 https://github.com/qq456cvb/UniPose9D 에서 확인할 수 있습니다.

arXiv:2609.22716v1cs.CV공통 태그 Pose Estimation, Point Cloud Registration

ZIL: 제로샷 이미지-투-LiDAR 정합

ZIL: Zero-shot Image-to-LiDAR Registration

이미지-투-LiDAR 정합(Image-to-LiDAR registration)은 LiDAR 포인트 클라우드(point cloud)에 대한 이미지의 카메라 자세(camera pose)를 추정하는 작업이다. 이는 자율주행, 로봇 내비게이션 등 다양한 응용 분야를 가진다. 그러나 최신(state-of-the-art, SOTA) 방법들은 여전히 1) 대부분 동일 프레임 입력을 가정하여, 서로 멀리 떨어진 프레임에서 얻어진 이미지와 포인트 클라우드에 대해서는 어려움을 겪고, 2) 특정 도메인에 특화된 학습에 의존하여 보지 못한 시나리오로 일반화하지 못한다. 우리는 제로샷(zero-shot) 비동기(non-synchronized) 이미지-투-LiDAR 정합을 위한 최초의 파운데이션 모델(foundation model)인 ZIL을 제안한다. ZIL은 비전 트랜스포머(Vision Transformer)와 포인트 트랜스포머(Point Transformer)로 입력 이미지와 포인트 클라우드를 인코딩한다. 상대 자세(relative pose)를 회귀(regress)하는 것에 더해, ZIL은 3D 좌표를 예측하는 방법도 함께 학습하며, 이는 추가적인 주석(annotation) 없이도 자세 정확도를 크게 향상시킨다. 흥미롭게도, 단순한 혼합 데이터(mix-data) 학습만으로는 제로샷 일반화를 달성할 수 없으며, 이를 위해서는 카메라 내부 파라미터(camera intrinsics)와 LiDAR 수직축 원점(vertical-axis origin) 모두에 대한 정규화(normalization)가 필요하다. 140만 개의 LiDAR 프레임을 포함한 7개의 공개 데이터셋(dataset)으로 학습된 ZIL은, 단일 모델로 5개의 도메인 내(in-domain) 및 제로샷 벤치마크(benchmark)에서 기존 SOTA를 일관되고 크게 능가하며, 이동 오차(translation error)와 회전 오차(rotation error)를 각각 최대 87%, 76%까지 줄인다(그림 1 참조). 코드와 모델은 https://github.com/ZijunLi7/ZIL 에서 확인할 수 있다.

arXiv:2607.23096v1cs.CV공통 태그 Pose Estimation, Point Cloud Registration

SHReg: 구면 조화 함수를 통한 엄격한 회전 등변성 포인트 클라우드 정합

SHReg: Strictly Rotation-Equivariant Point Cloud Registration via Spherical Harmonics

포인트 클라우드 정합(point cloud registration)은 임의의 3D 회전에 대해 구별력이 있으면서도 견고한 국소 특징에 크게 의존한다. 기존 학습 기반 방법들은 일반적으로 취약한 국소 기준 좌표계(local reference frames)나 광범위한 데이터 증강을 통해 회전 불변성(rotation invariance)을 근사하며, 이는 경험적 불변성만을 제공하고 보지 못한 회전 변환에서 성능이 저하되는 경우가 많다. 본 논문에서는 $SO(3)$의 표현 이론(representation theory)에 기반한 엄격한 회전 등변성(strict rotation-equivariance) 포인트 클라우드 정합 프레임워크인 SHReg를 제안한다. 국소 기하학적 특징을 $SO(3)$의 기약 표현(irreducible representations)으로 나타냄으로써, SHReg는 국소 기준 좌표계에 의존하지 않고 임의의 회전에 대한 정확한 등변성(equivariance)을 보장한다. 구면 조화 함수(spherical harmonics) 기반의 등변 백본 위에 구축된 SHReg는, 견고한 대응 매칭(correspondence matching)을 위한 회전 불변 디스크립터와 세밀한 방향 정보를 보존하는 회전 등변 특징을 공동으로 학습한다. 보존된 등변 구조는 각 대응이 강체 변환(rigid transformation)을 직접 가설화할 수 있게 하여, 기존 RANSAC 기반 파이프라인에서의 대규모 가설 샘플링에 대한 의존을 줄이고, 어려운 회전 변화 하에서 견고성을 향상시킨다. 3DMatch, 3DLoMatch, KITTI에서의 광범위한 실험은 SHReg가 정합 정확도에서, 특히 큰 회전 교란 하에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다.

arXiv:2607.14639v1cs.RO공통 태그 Pose Estimation, Point Cloud Registration

Rectified Flow 기반 LiDAR 업샘플링을 통한 간편한 이미지-포인트 클라우드 정합

Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling

이미지-포인트 클라우드 정합(Image-to-Point Cloud Registration, I2P)은 지각 및 자율주행 시스템에서 카메라와 LiDAR를 통합하는 데 필수적이지만, 이미지와 포인트 클라우드 간의 모달리티 격차(modality gap)로 인해 높은 정확도와 강한 일반화를 동시에 달성하기 어렵다. 본 논문에서는 LiDAR를 이미징 센서로 취급하는 단순하면서도 효과적인 I2P 방법을 제안한다. 단일 희소 LiDAR 스캔으로부터 Conditional Rectified Flow를 이용해 밀집 LiDAR intensity 이미지를 생성하고, 사전학습된 특징(feature) 매처로 카메라 이미지와 매칭하며, PnP-RANSAC을 통해 6-DoF 상대 자세(relative pose)를 추정한다. 제안 모델은 자기지도(self-supervised) 이미지 완성(completion) 작업으로 사전학습(pre-training)되고 소량의 LiDAR 데이터로 파인튜닝(fine-tuning)되며, 이미지-포인트 클라우드 쌍이나 ground-truth 센서 자세가 필요하지 않아 다양한 LiDAR 및 카메라 구성으로 확장할 수 있다. R3LIVE 데이터셋에서의 실험 결과, 제안 방법은 평균 오차 4.89° / 1.63 m를 달성하여 기존 방법을 능가하며, 단일 정합(registration)을 약 0.68초 만에 완료한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.