논문 ID: document/1018665

L2V2T2Calib: Automatic and Unified Extrinsic Calibration Toolbox for Different 3D LiDAR, Visual Camera and Thermal Camera

Jun Zhang∗, Yiyao Liu∗, Mingxing Wen, Yufeng Yue, Haoyuan Zhang and Danwei Wang

제출 2023-06-07

원문 초록

Extrinsic calibration between LiDAR-Camera and LiDAR-LiDAR has been researched extensively, because it is the foundation for sensor fusion. Meanwhile, many projects are open-sourced and significantly promote related research. However, limited solutions can unify the calibration between repetitive scanning and non-repetitive scanning 3D LiDAR, sparse and dense 3D LiDAR, visual and thermal camera. Currently, to achieve that, we normally need to use different targets and extract different features for different sensor combinations. Sometimes, human intervention is required to locate the target. It is inconvenient and time-consuming. In this paper, L 2 V 2 T 2 Calib is introduced and open-sourced as a trial to unify the calibration. 1). A four-circular-holes board is adopted for all sensors. The four circle centers can be detected by all the sensors, thus are ideal common features. Previous works also use this target, but the algorithms don't consider non-repetitive scanning LiDARs, thus cannot be directly applied. 2). To unify the process, an important step is to automatically and robustly detect the target from different types of LiDARs. However, this does not receive enough attention. We propose a method based on template matching. It is simple, but effective and general to different depth sensors. 3). We provide two types of output, minimizing 2D re-projection error (Min2D) and minimizing 3D matching error (Min3D), for different users. And their performance is compared. Extensive experiments conducted in both simulation and real environment demonstrate L2V2T2Calib is accurate, robust, more importantly, unified. The code will be open-sourced to promote related research at: https://github.com/Clothooo/lvt2calib

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2504.06479v2cs.RO공통 태그 Sensor Fusion공식 코드 · Papers with Code

Holistic Fusion: 팩터 그래프 기반 작업 및 설정에 구애받지 않는 로봇 위치 추정 및 상태 추정

Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs

도전적인 환경에서 이동 로봇의 원활한 운용을 위해서는 저지연 국소 운동 추정과 정확한 전역 위치 추정이 필요하다. 대부분의 센서 융합(sensor fusion) 접근법은 특정 시나리오를 위해 설계되지만, 본 연구는 일반성과 사용성을 특징으로 하는 작업 및 설정에 구애받지 않는 다중모달 센서 융합을 위한 유연한 오픈소스 솔루션을 제안한다. Holistic Fusion은 센서 융합을 i) 국소 및 전역 로봇 상태와 ii) (이론적으로 무제한적인 수의) 동적 변수(기준 좌표계의 자동 정렬 포함)의 결합 추정 문제로 공식화한다. 이 공식화는 개념적 수정 없이 수많은 실세계 응용에 적용 가능하며, 하드코딩된/작업 특화 접근법을 넘어서는 포괄적 솔루션을 제공한다. 제안된 팩터 그래프(factor graph) 공식화는 서로 다른 좌표계에 대해 표현된 임의 개수의 절대, 국소, 랜드마크(landmark) 측정값을 최적화(optimization)의 상태로 명시적으로 포함하고 그 진화를 랜덤 워크(random walk)로 모델링함으로써 직접 융합할 수 있게 한다. 또한 추정 점프를 방지하기 위해 국소적 평활성과 일관성에 특별한 주의를 기울인다. Holistic Fusion은 일반적인 로봇 하드웨어에서 저지연且 부드러운 온라인 상태 추정을 가능하게 하면서 동시에 IMU 측정 속도에서 저드리프트(low-drift) 전역 위치 추정을 제공한다. 공개된 이 프레임워크 [1]의 효과는 서로 다른 작업 요구사항을 갖는 세 가지 로봇 플랫폼에서 다섯 가지 실세계 시나리오를 통해 입증되며, 다양한 절대 측정 유형의 융합 이점 [2]을 강조한다. [1] 코드: https://github.com/leggedrobotics/holistic_fusion [2] 프로젝트: https://leggedrobotics.github.io/holistic_fusion

arXiv:2411.09484v5cs.CV공통 태그 Template Matching공식 코드 · Papers with Code

평면 기반 이미지 매칭 필터링 및 정제와 그 이상

Image Matching Filtering and Refinement by Planes and Beyond

이 논문은 일반적인 이미지 매칭 파이프라인에서 최신 필터링 및 정제 방법에 대한 일관되고 광범위한 평가를 제공한다. 이전 비교와 달리, 설계된 벤치마크는 카메라 내부 파라미터(camera intrinsics)를 알 수 없는 보다 일반적이고 현실적이며 실용적인 경우도 고려한다. 또한, 평면 제약(planar constraints)과 상호 상관(cross correlation)에 기반한 비딥(non-deep) 전통적 컴퓨터 비전(CV) 접근법을 결합한 새롭고 효과적인 전략을 제시한다. 실험 분석은 현재 응용 설계와 향후 연구 방향에 대한 여러 통찰을 제공한다. 특히, 적절한 평가 프로토콜의 선택은, 그렇지 않으면 평탄화되는 경향이 있는 비교 대상 솔루션들 간의 실질적 차이를 드러낸다. 또한, 제안된 전통적 알고리즘 접근법은 최근 딥러닝 기반 방법과 경쟁력이 있다. 딥러닝 기반 방법의 평가를 위해 전통적 컴퓨터 비전을 활용한 견고한 기준선을 제공하는 것 외에도, 이러한 지식은 딥러닝 기반 이미지 매칭 아키텍처를 개선하고 더 잘 이해하는 데 유용하다. 한편으로, 기하학 기반 필터링은 이상치가 존재할 때 이미 견고한 딥러닝 파이프라인을 저하시키지 않으면서 효과적이다. 다른 한편으로, 상호 상관 정제는 코너형 키포인트의 경우 유효하며, 딥러닝 파이프라인에서 부정확한 매칭을 기본적으로 바로 폐기하지 않고 유지·정제하여 장면의 더 나은 커버리지를 달성할 수 있게 한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.