arXiv:2309.16023

Q-REG: End-to-End Trainable Point Cloud Registration with Surface Curvature

Shengze Jin, Daniel Barath, Marc Pollefeys, Iro Armeni

제출 2023-09-27

원문 초록

Point cloud registration has seen recent success with several learning-based methods that focus on correspondence matching and, as such, optimize only for this objective. Following the learning step of correspondence matching, they evaluate the estimated rigid transformation with a RANSAC-like framework. While it is an indispensable component of these methods, it prevents a fully end-to-end training, leaving the objective to minimize the pose error nonserved. We present a novel solution, Q-REG, which utilizes rich geometric information to estimate the rigid pose from a single correspondence. Q-REG allows to formalize the robust estimation as an exhaustive search, hence enabling end-to-end training that optimizes over both objectives of correspondence matching and rigid pose estimation. We demonstrate in the experiments that Q-REG is agnostic to the correspondence matching method and provides consistent improvement both when used only in inference and in end-to-end training. It sets a new state-of-the-art on the 3DMatch, KITTI, and ModelNet benchmarks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09985v2cs.CV공통 태그 Pose Estimation, Point Cloud Registration

UniPose9D: 범용 카테고리 무관 객체 포즈 추정

UniPose9D: Universal Category-Agnostic Object Pose Estimation

객체 포즈 추정(Object pose estimation)은 3D 컴퓨터 비전(CV)의 근본적인 문제입니다. 최근 최신(SOTA) 접근법들이 뛰어난 성능을 달성하고 있지만, 새로운 카테고리와 보지 못한 장면에 대한 일반화는 여전히 어려운 과제로 남아 있습니다. 본 논문에서는 카테고리 무관 9차원(9D) 객체 포즈 추정을 위한 통합 모델인 UniPose9D를 제안합니다. 인스턴스 마스크/ROI와 RGB-D 관측 또는 예측된 깊이(depth)를 포함한 RGB 이미지가 주어지면, 모델은 카테고리 레이블, CAD 모델, 평균 형태 사전 정보(mean-shape priors), 참조 뷰(reference views) 없이 회전, 평행 이동(translation), 미터법 크기(metric size)를 추정합니다. 구체적으로 UniPose9D는 관측된 객체 기하구조에서 포인트 쌍을 샘플링하고, DINOv2 및 PointNet 특징을 활용하여 각 쌍에 대한 NOCS 좌표를 예측합니다. 정확도를 향상시키기 위해 적응형 임계값을 갖는 포인트 쌍 기반 RANSAC N-hop Kabsch-Umeyama 알고리즘을 도입합니다. 나아가 대칭적 모호성을 해결하기 위해 플로우 매칭(flow matching)을 적용하고, 기존 공개 데이터셋의 포즈 어노테이션을 큐레이션 및 정렬하여 대규모 학습 데이터셋을 구축합니다. 8개 데이터셋에 대한 실험을 통해 단일 통합 모델이 표준 벤치마크에서 경쟁력 있는 성능을 달성하는 동시에, 보지 못한 객체, 보지 못한 카테고리, 야생(in-the-wild) 시나리오로 잘 일반화됨을 보입니다. 코드와 모델은 https://github.com/qq456cvb/UniPose9D 에서 확인할 수 있습니다.

arXiv:2609.22716v1cs.CV공통 태그 Pose Estimation, Point Cloud Registration

ZIL: 제로샷 이미지-투-LiDAR 정합

ZIL: Zero-shot Image-to-LiDAR Registration

이미지-투-LiDAR 정합(Image-to-LiDAR registration)은 LiDAR 포인트 클라우드(point cloud)에 대한 이미지의 카메라 자세(camera pose)를 추정하는 작업이다. 이는 자율주행, 로봇 내비게이션 등 다양한 응용 분야를 가진다. 그러나 최신(state-of-the-art, SOTA) 방법들은 여전히 1) 대부분 동일 프레임 입력을 가정하여, 서로 멀리 떨어진 프레임에서 얻어진 이미지와 포인트 클라우드에 대해서는 어려움을 겪고, 2) 특정 도메인에 특화된 학습에 의존하여 보지 못한 시나리오로 일반화하지 못한다. 우리는 제로샷(zero-shot) 비동기(non-synchronized) 이미지-투-LiDAR 정합을 위한 최초의 파운데이션 모델(foundation model)인 ZIL을 제안한다. ZIL은 비전 트랜스포머(Vision Transformer)와 포인트 트랜스포머(Point Transformer)로 입력 이미지와 포인트 클라우드를 인코딩한다. 상대 자세(relative pose)를 회귀(regress)하는 것에 더해, ZIL은 3D 좌표를 예측하는 방법도 함께 학습하며, 이는 추가적인 주석(annotation) 없이도 자세 정확도를 크게 향상시킨다. 흥미롭게도, 단순한 혼합 데이터(mix-data) 학습만으로는 제로샷 일반화를 달성할 수 없으며, 이를 위해서는 카메라 내부 파라미터(camera intrinsics)와 LiDAR 수직축 원점(vertical-axis origin) 모두에 대한 정규화(normalization)가 필요하다. 140만 개의 LiDAR 프레임을 포함한 7개의 공개 데이터셋(dataset)으로 학습된 ZIL은, 단일 모델로 5개의 도메인 내(in-domain) 및 제로샷 벤치마크(benchmark)에서 기존 SOTA를 일관되고 크게 능가하며, 이동 오차(translation error)와 회전 오차(rotation error)를 각각 최대 87%, 76%까지 줄인다(그림 1 참조). 코드와 모델은 https://github.com/ZijunLi7/ZIL 에서 확인할 수 있다.

arXiv:2607.23096v1cs.CV공통 태그 Pose Estimation, Point Cloud Registration

SHReg: 구면 조화 함수를 통한 엄격한 회전 등변성 포인트 클라우드 정합

SHReg: Strictly Rotation-Equivariant Point Cloud Registration via Spherical Harmonics

포인트 클라우드 정합(point cloud registration)은 임의의 3D 회전에 대해 구별력이 있으면서도 견고한 국소 특징에 크게 의존한다. 기존 학습 기반 방법들은 일반적으로 취약한 국소 기준 좌표계(local reference frames)나 광범위한 데이터 증강을 통해 회전 불변성(rotation invariance)을 근사하며, 이는 경험적 불변성만을 제공하고 보지 못한 회전 변환에서 성능이 저하되는 경우가 많다. 본 논문에서는 $SO(3)$의 표현 이론(representation theory)에 기반한 엄격한 회전 등변성(strict rotation-equivariance) 포인트 클라우드 정합 프레임워크인 SHReg를 제안한다. 국소 기하학적 특징을 $SO(3)$의 기약 표현(irreducible representations)으로 나타냄으로써, SHReg는 국소 기준 좌표계에 의존하지 않고 임의의 회전에 대한 정확한 등변성(equivariance)을 보장한다. 구면 조화 함수(spherical harmonics) 기반의 등변 백본 위에 구축된 SHReg는, 견고한 대응 매칭(correspondence matching)을 위한 회전 불변 디스크립터와 세밀한 방향 정보를 보존하는 회전 등변 특징을 공동으로 학습한다. 보존된 등변 구조는 각 대응이 강체 변환(rigid transformation)을 직접 가설화할 수 있게 하여, 기존 RANSAC 기반 파이프라인에서의 대규모 가설 샘플링에 대한 의존을 줄이고, 어려운 회전 변화 하에서 견고성을 향상시킨다. 3DMatch, 3DLoMatch, KITTI에서의 광범위한 실험은 SHReg가 정합 정확도에서, 특히 큰 회전 교란 하에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다.

arXiv:2607.14639v1cs.RO공통 태그 Pose Estimation, Point Cloud Registration

Rectified Flow 기반 LiDAR 업샘플링을 통한 간편한 이미지-포인트 클라우드 정합

Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling

이미지-포인트 클라우드 정합(Image-to-Point Cloud Registration, I2P)은 지각 및 자율주행 시스템에서 카메라와 LiDAR를 통합하는 데 필수적이지만, 이미지와 포인트 클라우드 간의 모달리티 격차(modality gap)로 인해 높은 정확도와 강한 일반화를 동시에 달성하기 어렵다. 본 논문에서는 LiDAR를 이미징 센서로 취급하는 단순하면서도 효과적인 I2P 방법을 제안한다. 단일 희소 LiDAR 스캔으로부터 Conditional Rectified Flow를 이용해 밀집 LiDAR intensity 이미지를 생성하고, 사전학습된 특징(feature) 매처로 카메라 이미지와 매칭하며, PnP-RANSAC을 통해 6-DoF 상대 자세(relative pose)를 추정한다. 제안 모델은 자기지도(self-supervised) 이미지 완성(completion) 작업으로 사전학습(pre-training)되고 소량의 LiDAR 데이터로 파인튜닝(fine-tuning)되며, 이미지-포인트 클라우드 쌍이나 ground-truth 센서 자세가 필요하지 않아 다양한 LiDAR 및 카메라 구성으로 확장할 수 있다. R3LIVE 데이터셋에서의 실험 결과, 제안 방법은 평균 오차 4.89° / 1.63 m를 달성하여 기존 방법을 능가하며, 단일 정합(registration)을 약 0.68초 만에 완료한다.

arXiv:2606.22439v2cs.CV공통 태그 Pose Estimation

RGB-D 영상 및 3차 스플라인 호장 적분을 이용한 곡률 인지 온실 오이 3D 길이 추정

Curvature-aware 3D length estimation of greenhouse cucumbers using RGB-D imaging and cubic spline arc-length integration

상업용 온실 오이 생산은 과실 길이로 등급이 매겨지며, 이는 수확 일정, 노동 배치, 물류를 좌우한다. 실이나 캘리퍼를 이용한 수동 측정은 정확하지만 상업적 규모에서는 불가능하다. 본 논문은 Intel RealSense D435 RGB-D 카메라를 사용하는 비접촉 길이 추정 프레임워크 CucumberVision을 제시한다. YOLO26n 인스턴스 분할 모델이 오이를 검출하고, SAM(ViT-B 백본)이 각 검출을 픽셀 단위 정밀 마스크로 정제한다. 동일 조건에서 다섯 가지 방법을 평가한다: (M1) 주축 지배 골격 스캔라인 기준선; (M2) 바운딩 박스 깊이 포인트 클라우드에 대한 PCA; (M3) SAM 마스크와 중심축(medial-axis) 골격화; (M4) YOLO26-pose 모델로 5개의 해부학적 랜드마크(KP0--KP4)를 예측하고 구간별 3D 호장을 사용하는 하이브리드 키포인트 유도 접근; (M5) SAM 마스크의 3D 중심축을 따라 3차 스플라인을 맞추고 사다리꼴 적분으로 호장을 계산하는 새로운 medial arc spline 방법 — 긴 형태 채소 측정에 이러한 방식을 적용한 최초 사례. 모든 방법은 5프레임 버스트 깊이 평균, 컬러 스트림 내부 파라미터(intrinsic) 정렬, 계단식 폴백을 갖춘 적응형 방법 선택을 공유하여 100% 커버리지를 보장한다. 48회 촬영, 7개 오이, 3가지 크기 카테고리(소형 ~8 cm, 중형 ~13 cm, 대형 ~25 cm)에 대한 실 기반 정답(ground truth) 벤치마크는 유의한 정확도 위계를 보인다: M1(MAPE 9.68%) > M2(5.31%) > M4(5.51%) > M3(5.82%) > M5(4.13%). M5는 Bonferroni 보정 alpha=0.0125에서 모든 경쟁 방법을 유의하게 능가한다. 부가 기여로, rs.align(rs.stream.color) 이후 컬러 스트림이 아닌 깊이 스트림 내부 파라미터를 사용할 때 12--18% 길이 저과소평가가 발생한다는 점을 밝혔다 — 보고가 잘 되지 않는 오류 원천이다. 전체 시스템은 오픈 소스로 공개되었으며 단일 소비자급 GPU에서 실시간으로 동작한다.

arXiv:2607.12909v2q-bio.NC공통 태그 Pose Estimation

저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지

Real-time fall detection based on vision for low-power edge platforms

낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.