GERA: Geometric Embedding for Efficient Point Registration Analysis
원문 초록
Point cloud registration aims to provide estimated transformations to align point clouds, which plays a crucial role in pose estimation of various navigation systems, such as surgical guidance systems and autonomous vehicles. Despite the impressive performance of recent models on benchmark datasets, many rely on complex modules like KPConv and Transformers, which impose significant computational and memory demands. These requirements hinder their practical application, particularly in resource-constrained environments such as mobile robotics. In this paper, we propose a novel point cloud registration network that leverages a pure MLP architecture, constructing geometric information offline. This approach eliminates the computational and memory burdens associated with traditional complex feature extractors and significantly reduces inference time and resource consumption. Our method is the first to replace 3D coordinate inputs with offline-constructed geometric encoding, improving generalization and stability, as demonstrated by Maximum Mean Discrepancy (MMD) comparisons. This efficient and accurate geometric representation marks a significant advancement in point cloud analysis, particularly for applications requiring fast and reliability.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
UniPose9D: 범용 카테고리 무관 객체 포즈 추정
UniPose9D: Universal Category-Agnostic Object Pose Estimation
객체 포즈 추정(Object pose estimation)은 3D 컴퓨터 비전(CV)의 근본적인 문제입니다. 최근 최신(SOTA) 접근법들이 뛰어난 성능을 달성하고 있지만, 새로운 카테고리와 보지 못한 장면에 대한 일반화는 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 카테고리 무관 9차원(9D) 객체 포즈 추정을 위한 통합 모델인 UniPose9D를 제안합니다. 인스턴스 마스크/ROI와 RGB-D 관측 또는 예측된 깊이(depth)를 포함한 RGB 이미지가 주어지면, 모델은 카테고리 레이블, CAD 모델, 평균 형태 사전 정보(mean-shape priors), 참조 뷰(reference views) 없이 회전, 평행 이동(translation), 미터법 크기(metric size)를 추정합니다. 구체적으로 UniPose9D는 관측된 객체 기하구조에서 포인트 쌍을 샘플링하고, DINOv2 및 PointNet 특징을 활용하여 각 쌍에 대한 NOCS 좌표를 예측합니다. 정확도를 향상시키기 위해 적응형 임계값을 갖는 포인트 쌍 기반 RANSAC N-hop Kabsch-Umeyama 알고리즘을 도입합니다. 나아가 대칭적 모호성을 해결하기 위해 플로우 매칭(flow matching)을 적용하고, 기존 공개 데이터셋의 포즈 어노테이션을 큐레이션 및 정렬하여 대규모 학습 데이터셋을 구축합니다. 8개 데이터셋에 대한 실험을 통해 단일 통합 모델이 표준 벤치마크에서 경쟁력 있는 성능을 달성하는 동시에, 보지 못한 객체, 보지 못한 카테고리, 야생(in-the-wild) 시나리오로 잘 일반화됨을 보입니다. 코드와 모델은 https://github.com/qq456cvb/UniPose9D 에서 확인할 수 있습니다.
ZIL: 제로샷 이미지-투-LiDAR 정합
ZIL: Zero-shot Image-to-LiDAR Registration
이미지-투-LiDAR 정합(Image-to-LiDAR registration)은 LiDAR 포인트 클라우드(point cloud)에 대한 이미지의 카메라 자세(camera pose)를 추정하는 작업이다. 이는 자율주행, 로봇 내비게이션 등 다양한 응용 분야를 가진다. 그러나 최신(state-of-the-art, SOTA) 방법들은 여전히 1) 대부분 동일 프레임 입력을 가정하여, 서로 멀리 떨어진 프레임에서 얻어진 이미지와 포인트 클라우드에 대해서는 어려움을 겪고, 2) 특정 도메인에 특화된 학습에 의존하여 보지 못한 시나리오로 일반화하지 못한다. 우리는 제로샷(zero-shot) 비동기(non-synchronized) 이미지-투-LiDAR 정합을 위한 최초의 파운데이션 모델(foundation model)인 ZIL을 제안한다. ZIL은 비전 트랜스포머(Vision Transformer)와 포인트 트랜스포머(Point Transformer)로 입력 이미지와 포인트 클라우드를 인코딩한다. 상대 자세(relative pose)를 회귀(regress)하는 것에 더해, ZIL은 3D 좌표를 예측하는 방법도 함께 학습하며, 이는 추가적인 주석(annotation) 없이도 자세 정확도를 크게 향상시킨다. 흥미롭게도, 단순한 혼합 데이터(mix-data) 학습만으로는 제로샷 일반화를 달성할 수 없으며, 이를 위해서는 카메라 내부 파라미터(camera intrinsics)와 LiDAR 수직축 원점(vertical-axis origin) 모두에 대한 정규화(normalization)가 필요하다. 140만 개의 LiDAR 프레임을 포함한 7개의 공개 데이터셋(dataset)으로 학습된 ZIL은, 단일 모델로 5개의 도메인 내(in-domain) 및 제로샷 벤치마크(benchmark)에서 기존 SOTA를 일관되고 크게 능가하며, 이동 오차(translation error)와 회전 오차(rotation error)를 각각 최대 87%, 76%까지 줄인다(그림 1 참조). 코드와 모델은 https://github.com/ZijunLi7/ZIL 에서 확인할 수 있다.
SHReg: 구면 조화 함수를 통한 엄격한 회전 등변성 포인트 클라우드 정합
SHReg: Strictly Rotation-Equivariant Point Cloud Registration via Spherical Harmonics
포인트 클라우드 정합(point cloud registration)은 임의의 3D 회전에 대해 구별력이 있으면서도 견고한 국소 특징에 크게 의존한다. 기존 학습 기반 방법들은 일반적으로 취약한 국소 기준 좌표계(local reference frames)나 광범위한 데이터 증강을 통해 회전 불변성(rotation invariance)을 근사하며, 이는 경험적 불변성만을 제공하고 보지 못한 회전 변환에서 성능이 저하되는 경우가 많다. 본 논문에서는 $SO(3)$의 표현 이론(representation theory)에 기반한 엄격한 회전 등변성(strict rotation-equivariance) 포인트 클라우드 정합 프레임워크인 SHReg를 제안한다. 국소 기하학적 특징을 $SO(3)$의 기약 표현(irreducible representations)으로 나타냄으로써, SHReg는 국소 기준 좌표계에 의존하지 않고 임의의 회전에 대한 정확한 등변성(equivariance)을 보장한다. 구면 조화 함수(spherical harmonics) 기반의 등변 백본 위에 구축된 SHReg는, 견고한 대응 매칭(correspondence matching)을 위한 회전 불변 디스크립터와 세밀한 방향 정보를 보존하는 회전 등변 특징을 공동으로 학습한다. 보존된 등변 구조는 각 대응이 강체 변환(rigid transformation)을 직접 가설화할 수 있게 하여, 기존 RANSAC 기반 파이프라인에서의 대규모 가설 샘플링에 대한 의존을 줄이고, 어려운 회전 변화 하에서 견고성을 향상시킨다. 3DMatch, 3DLoMatch, KITTI에서의 광범위한 실험은 SHReg가 정합 정확도에서, 특히 큰 회전 교란 하에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다.
GLAM-SLAM: 흐름 밀집화 및 공간 분해를 통한 실시간 가우시안 대규모 매핑
GLAM-SLAM: Real-time Gaussian Large-scale Mapping via Flow Densification and Spatial Decomposition
기존 가우시안 스플래팅(Gaussian Splatting) 기반 단안 동시 위치 추정 및 지도 작성(SLAM) 시스템은 짧은 시퀀스에 특화되어 있거나 실시간이 아니거나, 과도한 GPU 메모리 요구로 인한 문제가 있어 현실적인 장기 시나리오에서의 적용이 제한된다. 이를 해결하기 위해, 대규모 실외 장면을 위해 설계된 실시간 분리형(decoupled) 가우시안 스플래팅 SLAM 시스템인 GLAM-SLAM을 제안한다. 견고한 특징(feature) 기반 SLAM 프론트엔드를 사용하여 경량 추적을 보장하고, 매핑에서는 구조화된 희소 앵커 그리드 표현을 채택하여 확장 가능한 동작을 보장하고 장기 시퀀스에 걸친 장면 일관성을 유지한다. 3D 가우시안 스플래팅(3DGS)의 밀집 초기화(initialization) 요구사항을 충족하기 위해, 에피폴라(epipolar) 제약을 사용하는 기하학 기반 흐름 밀집화(flow-densification) 앵커링 전략을 도입한다. 또한 매핑을 다중 장면(multi-scene) 문제로 취급하여, MLP 초기화를 통해 강한 공간적 귀납 바이어스(bias)를 도입하여 국소화된 가우시안을 생성하는 장면 분할(scene-partitioning) 전략을 제안한다. 도전적인 장시퀀 KITTI Odometry, Oxford RobotCar, M'alaga 데이터셋에서 시스템을 평가한다. 광범위한 ablation 및 비교를 통해 두 번째로 우수한 방법 대비 재구성 품질에서 15% 향상을 보이면서, 실시간 성능과 더 긴 시퀀스로 확장 가능한 능력을 유지함을 입증한다. 코드는 커뮤니티를 위해 공개되어 있다.
Rectified Flow 기반 LiDAR 업샘플링을 통한 간편한 이미지-포인트 클라우드 정합
Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling
이미지-포인트 클라우드 정합(Image-to-Point Cloud Registration, I2P)은 지각 및 자율주행 시스템에서 카메라와 LiDAR를 통합하는 데 필수적이지만, 이미지와 포인트 클라우드 간의 모달리티 격차(modality gap)로 인해 높은 정확도와 강한 일반화를 동시에 달성하기 어렵다. 본 논문에서는 LiDAR를 이미징 센서로 취급하는 단순하면서도 효과적인 I2P 방법을 제안한다. 단일 희소 LiDAR 스캔으로부터 Conditional Rectified Flow를 이용해 밀집 LiDAR intensity 이미지를 생성하고, 사전학습된 특징(feature) 매처로 카메라 이미지와 매칭하며, PnP-RANSAC을 통해 6-DoF 상대 자세(relative pose)를 추정한다. 제안 모델은 자기지도(self-supervised) 이미지 완성(completion) 작업으로 사전학습(pre-training)되고 소량의 LiDAR 데이터로 파인튜닝(fine-tuning)되며, 이미지-포인트 클라우드 쌍이나 ground-truth 센서 자세가 필요하지 않아 다양한 LiDAR 및 카메라 구성으로 확장할 수 있다. R3LIVE 데이터셋에서의 실험 결과, 제안 방법은 평균 오차 4.89° / 1.63 m를 달성하여 기존 방법을 능가하며, 단일 정합(registration)을 약 0.68초 만에 완료한다.
온보드 센서를 활용한 고유감각적 차량 측위를 위한 물리 정규화 머신러닝
Physics-Regularized Machine Learning for Proprioceptive Vehicle Localization Using Onboard Sensors
정확하고 강건한 측위(localization)는 실제 환경의 자율 이동 시스템에 필수적이다. 관성 측정 장치(IMU) 데이터와 위성 기반 보정 신호를 융합하면 정밀한 차량 자세(pose) 추정이 가능하지만, 신호 중단 시 성능이 크게 저하된다. 최근 연구들은 머신러닝(ML)이 IMU 기반 고유감각적 측위를 향상시킬 수 있음을 보이며, 양산 차량에 기본 탑재된 온보드 센서의 활용 가능성을 강조하고 있다. 본 논문은 측위를 위한 물리 정규화 머신러닝(PRML2, Physics-Regularized Machine Learning for Localization)을 소개한다. PRML2는 칼만 필터링과 데이터 기반 학습의 상호 보완적 강점을 결합하여 온보드 센서만으로 차량 자세를 직접 추정하는 하이브리드 프레임워크이다. PRML2의 핵심은 미분 가능한 칼만 필터를 통한 ML 모델의 엔드-투-엔드 학습으로 구현되는 물리 정규화 학습이다. 이를 통해 차량 운동 모델과의 일관성이 개선되어 측위 정확도와 다양한 주행 조건에서의 일반화 성능이 모두 향상된다. 공개 데이터셋에서 ML 기반 온보드 오도메트리(odometry)의 성능 한계를 평가한 결과, PRML2가 우수한 측위 정확도를 달성하고 실시간 처리 능력을 갖춤을 보인다. 또한 본 연구는 저마찰 조건에서의 차량 측위 연구를 지원하기 위한 새로운 데이터셋을 소개한다. 제안된 프레임워크는 물리 기반 사전 정보(physics-based priors)와 학습을 통합함으로써 센서 성능이 저하된 조건에서도 강건하고 비용 효율적인 차량 측위 솔루션을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.