Fast and Accurate Deep Loop Closing and Relocalization for Reliable LiDAR SLAM
원문 초록
Loop closing and relocalization are crucial techniques to establish reliable and robust long-term SLAM by addressing pose estimation drift and degeneration. This article begins by formulating loop closing and relocalization within a unified framework. Then, we propose a novel multi-head network LCR-Net to tackle both tasks effectively. It exploits novel feature extraction and pose-aware attention mechanism to precisely estimate similarities and 6-DoF poses between pairs of LiDAR scans. In the end, we integrate our LCR-Net into a SLAM system and achieve robust and accurate online LiDAR SLAM in outdoor driving environments. We thoroughly evaluate our LCR-Net through three setups derived from loop closing and relocalization, including candidate retrieval, closed-loop point cloud registration, and continuous relocalization using multiple datasets. The results demonstrate that LCR-Net excels in all three tasks, surpassing the state-of-the-art methods and exhibiting a remarkable generalization ability. Notably, our LCR-Net outperforms baseline methods without using a time-consuming robust pose estimator, rendering it suitable for online SLAM applications. To our best knowledge, the integration of LCR-Net yields the first LiDAR SLAM with the capability of deep loop closing and relocalization. The implementation of our methods will be made open-source.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ConsistWorld: 일관된 다중 에이전트 월드 모델을 위한 증거 라우팅
ConsistWorld: Evidence Routing for Consistent Multi-Agent World Models
자기회귀(autoregressive) 비디오 월드 모델은 단일 관측자에 대해 시간적으로 일관된 생성을 가능하게 한다. 다중 에이전트로 확장하려면 인과적 스트리밍(causal streaming) 하에서 독립적으로 제어되는 시점과 시간적 간극에 걸친 일관성이 필요하다. 우리는 하나의 공유 이미지로부터 정적 장면에 대한 카메라 제어 비디오 스트림을 생성하는 다중 에이전트 월드 모델 ConsistWorld를 제안한다. 일관성을 확정된 다중 에이전트 이력과 동시에 생성되는 동료(peer) 시점으로부터의 증거를 생성 중인 토큰으로 라우팅하는 것으로 공식화한다. Pose Conditioned Memory Retrieval은 모든 에이전트로부터 관련 역사적 관측을 선택하여 최근 컨텍스트 윈도(context window)를 넘는 증거를 복원한다. Visibility-Gated Peer Sharing은 추정된 역사적 커버리지와 현재 시점 중첩에 따라 현재 동료 정보를 조절한다. 두 메커니즘은 함께 어떤 역사적 관측이 컨텍스트에 들어가는지, 동시 동료 정보가 어디에 기여하는지를 결정하여 장기 회상과 조율된 탐험을 지원한다. 두 메커니즘 모두 카메라 기하학을 사용하며 고정된 에이전트 수와 검색 예산에 대해 유계의 활성 컨텍스트를 유지한다. 증거 공유 사례 및 비디오 길이·에이전트 수 일반화에 대한 실험은 ConsistWorld가 경쟁력 있는 생성 품질을 유지하면서 강한 시간 간·에이전트 간 일관성을 달성함을 보여준다.
ZIL: 제로샷 이미지-투-LiDAR 정합
ZIL: Zero-shot Image-to-LiDAR Registration
이미지-투-LiDAR 정합(Image-to-LiDAR registration)은 LiDAR 포인트 클라우드(point cloud)에 대한 이미지의 카메라 자세(camera pose)를 추정하는 작업이다. 이는 자율주행, 로봇 내비게이션 등 다양한 응용 분야를 가진다. 그러나 최신(state-of-the-art, SOTA) 방법들은 여전히 1) 대부분 동일 프레임 입력을 가정하여, 서로 멀리 떨어진 프레임에서 얻어진 이미지와 포인트 클라우드에 대해서는 어려움을 겪고, 2) 특정 도메인에 특화된 학습에 의존하여 보지 못한 시나리오로 일반화하지 못한다. 우리는 제로샷(zero-shot) 비동기(non-synchronized) 이미지-투-LiDAR 정합을 위한 최초의 파운데이션 모델(foundation model)인 ZIL을 제안한다. ZIL은 비전 트랜스포머(Vision Transformer)와 포인트 트랜스포머(Point Transformer)로 입력 이미지와 포인트 클라우드를 인코딩한다. 상대 자세(relative pose)를 회귀(regress)하는 것에 더해, ZIL은 3D 좌표를 예측하는 방법도 함께 학습하며, 이는 추가적인 주석(annotation) 없이도 자세 정확도를 크게 향상시킨다. 흥미롭게도, 단순한 혼합 데이터(mix-data) 학습만으로는 제로샷 일반화를 달성할 수 없으며, 이를 위해서는 카메라 내부 파라미터(camera intrinsics)와 LiDAR 수직축 원점(vertical-axis origin) 모두에 대한 정규화(normalization)가 필요하다. 140만 개의 LiDAR 프레임을 포함한 7개의 공개 데이터셋(dataset)으로 학습된 ZIL은, 단일 모델로 5개의 도메인 내(in-domain) 및 제로샷 벤치마크(benchmark)에서 기존 SOTA를 일관되고 크게 능가하며, 이동 오차(translation error)와 회전 오차(rotation error)를 각각 최대 87%, 76%까지 줄인다(그림 1 참조). 코드와 모델은 https://github.com/ZijunLi7/ZIL 에서 확인할 수 있다.
PosEviLoc: 언어 기반 3D 위치 추정을 위한 위치 조건부 공간 증거
PosEviLoc: Position-Conditioned Spatial Evidence for Language-Based 3D Localization
언어 기반 3D 위치 추정(localization)은 주변 객체와 그 공간적 관계에 대한 설명으로부터 목표 위치를 포함하는 포인트 클라우드 서브맵을 검색하는 작업이다. 기존 방법들은 일반적으로 질의(query)와 서브맵을 전역 디스크립터(global descriptor)로 압축하는데, 이는 객체 수준의 의미와 설명 간 공간적 일관성을 모호하게 만들 수 있다. 본 논문에서는 대략적인(coarse) 텍스트-투-포인트 클라우드 위치 추정을 위한 질의 위치 인식(query-position-aware) 프레임워크인 위치 조건부 증거 위치 추정(Position-Conditioned Evidence Localization, PosEviLoc)을 제안한다. 전역 매칭에 의존하는 대신, PosEviLoc은 명시적인 의미적 및 공간적 증거를 사용하여 각 후보 서브맵을 평가한다. 이 방법은 방향을 객체 위치와 가상의 질의 위치에 의해 공동으로 결정되는 관계로 모델링한다. 그 결과로 생성되는 질의-위치 공간 증거 필드(Query-Position Spatial Evidence Field, QSEF)는 각 가상 위치에서 지지되는 질의 설명의 비율을 측정하며, 증거 필드를 구성하는 데 실제(ground-truth) 질의 자세(pose)를 사용하지 않고도 설명들 간의 일치도를 명시적으로 포착한다. 다중 레벨 증거 판독(Multi-Level Evidence Readout, MER)은 이러한 증거를 압축된 표현으로 요약하며, 경량 MLP가 이를 검색 점수(retrieval score)로 변환한다. 다섯 개의 벤치마크(benchmark)에서 PosEviLoc은 재현율@1(Recall@1) 기준으로 MNCL을 평균 17퍼센트포인트(percentage point) 앞선다. 플러그 앤 플레이(plug-and-play) 재랭커(reranker)로 사용될 경우, MNCL을 평균 16퍼센트포인트 개선한다. 또한 PosEviLoc은 기존 방법들에 비해 훨씬 적은 파라미터(parameter)를 도입하며 더 빠른 추론(inference) 속도를 달성한다.
SHReg: 구면 조화 함수를 통한 엄격한 회전 등변성 포인트 클라우드 정합
SHReg: Strictly Rotation-Equivariant Point Cloud Registration via Spherical Harmonics
포인트 클라우드 정합(point cloud registration)은 임의의 3D 회전에 대해 구별력이 있으면서도 견고한 국소 특징에 크게 의존한다. 기존 학습 기반 방법들은 일반적으로 취약한 국소 기준 좌표계(local reference frames)나 광범위한 데이터 증강을 통해 회전 불변성(rotation invariance)을 근사하며, 이는 경험적 불변성만을 제공하고 보지 못한 회전 변환에서 성능이 저하되는 경우가 많다. 본 논문에서는 $SO(3)$의 표현 이론(representation theory)에 기반한 엄격한 회전 등변성(strict rotation-equivariance) 포인트 클라우드 정합 프레임워크인 SHReg를 제안한다. 국소 기하학적 특징을 $SO(3)$의 기약 표현(irreducible representations)으로 나타냄으로써, SHReg는 국소 기준 좌표계에 의존하지 않고 임의의 회전에 대한 정확한 등변성(equivariance)을 보장한다. 구면 조화 함수(spherical harmonics) 기반의 등변 백본 위에 구축된 SHReg는, 견고한 대응 매칭(correspondence matching)을 위한 회전 불변 디스크립터와 세밀한 방향 정보를 보존하는 회전 등변 특징을 공동으로 학습한다. 보존된 등변 구조는 각 대응이 강체 변환(rigid transformation)을 직접 가설화할 수 있게 하여, 기존 RANSAC 기반 파이프라인에서의 대규모 가설 샘플링에 대한 의존을 줄이고, 어려운 회전 변화 하에서 견고성을 향상시킨다. 3DMatch, 3DLoMatch, KITTI에서의 광범위한 실험은 SHReg가 정합 정확도에서, 특히 큰 회전 교란 하에서 최신(state-of-the-art) 방법들을 일관되게 능가함을 보여준다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.
RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학
RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction
피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.