Robust and accurate depth estimation by fusing LiDAR and Stereo
원문 초록
Depth estimation is one of the key technologies in some fields such as autonomous driving and robot navigation. However, the traditional method of using a single sensor is inevitably limited by the performance of the sensor. Therefore, a precision and robust method for fusing the LiDAR and stereo cameras is proposed. This method fully combines the advantages of the LiDAR and stereo camera, which can retain the advantages of the high precision of the LiDAR and the high resolution of images respectively. Compared with the traditional stereo matching method, the texture of the object and lighting conditions have less influence on the algorithm. Firstly, the depth of the LiDAR data is converted to the disparity of the stereo camera. Because the density of the LiDAR data is relatively sparse on the y-axis, the converted disparity map is up-sampled using the interpolation method. Secondly, in order to make full use of the precise disparity map, the disparity map and stereo matching are fused to propagate the accurate disparity. Finally, the disparity map is converted to the depth map. Moreover, the converted disparity map can also increase the speed of the algorithm. We evaluate the proposed pipeline on the KITTI benchmark. The experiment demonstrates that our algorithm has higher accuracy than several classic methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SatUnreal: Unreal Engine 기반 위성 스테레오 매칭을 위한 고정밀 합성 데이터셋
SatUnreal: A High-Precision Synthetic Dataset for Satellite Stereo Matching via Unreal Engine
위성 영상을 이용한 3D 재구성은 대규모 지형 분석에 필수적이지만, 정확한 가림(occlusion) 라벨을 갖춘 고충실도 학습 데이터셋이 부족한 것이 여전히 주요 병목이다. US3D, WHU-Stereo 같은 기존 벤치마크는 시공간 불일치—다시점 촬영 사이의 환경 변화와 그림자 위치 변화—라는 근본적 난제에 직면하며, LiDAR 희소성 때문에 가려진 영역에서 모호한 그라운드 트루스(ground truth)를 제공한다. 본 논문에서는 Unreal Engine 기반 시뮬레이션 파이프라인으로 이러한 한계를 근본적으로 극복하도록 설계된 고정밀 합성 데이터셋 SatUnreal을 제안한다. SatUnreal은 고해상도(0.3m GSD) 스테레오 쌍 10,000쌍을 제공하며, (1) 물리 기하 시뮬레이션(Physical Geometry Simulation)—기선(baseline)과 방위각(azimuth)을 체계적으로 변화시켜 현실적인 위성 궤도를 재현, (2) 시공간 일관성(Spatio-temporal Consistency)—고정 가상 환경으로 시간적 노이즈 제거, (3) 지형 다양성(Topographic Diversity)—밀집 도심 협곡부터 저텍스처 자연 지형까지, (4) 수학적 라벨 무결성(Mathematical Label Integrity)—새로운 2단계 linetrace 알고리즘으로 결함 없는 가림 마스크 생성—의 특징을 갖는다. SOTA 반복(iterative) 모델을 사용한 실험 결과, SatUnreal만으로 학습한 모델이 실데이터셋으로 학습한 모델보다 실세계 벤치마크(US3D, WHU-Stereo)에서 더 우수한 제로샷(zero-shot) 전이 성능을 보였다. 우리 결과는 물리적으로 정확한 합성 데이터가 복잡한 실세계 관측보다 기하학적 특징 학습에 더 효과적인 지도 신호를 제공함을 보여 주며, 지구 관측(Earth Observation)에서 Sim-to-Real 전이의 새로운 패러다임을 제시한다. 코드와 데이터셋은 https://github.com/jmp-Telepix/SatUnreal_A_High-Precision_Synthetic_Dataset_for_Satellite_Stereo_Matching_via_UnrealEngine 에서 이용할 수 있다.
Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
SURE-Map: 자기 교정형 스트리밍 기하학 파운데이션 모델
SURE-Map: Self-Correcting Streaming Geometric Foundation Models
스트리밍 기하학 파운데이션 모델(streaming geometric foundation model)은 SLAM 시스템의 유력한 대안으로 부상하고 있습니다. 그러나 이러한 스트리밍 특성은 근본적인 문제를 야기합니다. 즉, 각 예측이 제한된 문맥(context)으로부터 이루어지기 때문에 동적 객체와 텍스처가 부족한 영역에 취약합니다. 작은 국소적 오차는 심각한 기하학적 왜곡과 장기적(long-horizon) 스케일 드리프트(scale drift)로 누적됩니다. 본 연구에서는 신뢰할 수 있는 스트리밍 재구성을 위해 기하학 파운데이션 모델이 단순한 예측에 그치지 않고 자기 교정(self-correcting) 능력까지 갖추어야 한다고 주장합니다. 이를 위해 상호 보완적인 두 가지 원리를 기반으로 구축된 자기 교정형 프레임워크인 SURE-Map을 소개합니다. 첫째, 뷰 간(cross-view) 기하학적 불확실성을 명시적으로 모델링합니다. 개별 뷰 예측의 신뢰성을 주로 반영하는 기존의 깊이(depth) 또는 포인트 신뢰도와 달리, 본 연구의 불확실성은 공동으로 예측된 포즈(pose)와 깊이가 기하학적으로 일관된 뷰 간 픽셀 대응을 유도하는지 여부를 직접 측정합니다. 둘째, 국소적 교정만으로는 서서히 누적되는 스케일 오차를 제거할 수 없으므로, 다중 시간 척도(multi-timescale) 자기 교정을 도입합니다. 빠른 연속 프레임 추론(inference)을 통해 스트리밍 효율성을 유지하는 동시에, 희소한 키프레임 윈도우 추론을 통해 더 긴 범위의 기하학적 근거를 제공하여 최근 궤적의 스케일을 주기적으로 재보정합니다. SURE-Map은 장기 벤치마크 전반에서 온라인 피드포워드 재구성을 위한 새로운 SOTA(최고 수준) 성능을 달성하여, KITTI에서 ATE-RMSE를 24.00m에서 17.24m로, Oxford Spires에서 5.11m에서 4.74m로, VBR에서 31.37m에서 28.58m로 감소시켰으며, 루프 클로저(loop-closure) 정제 기법을 통합했을 때 각각 15.17m, 4.63m, 22.12m로 추가 향상되었습니다. 프로젝트 페이지: https://mingkai-liu.github.io/projects/sure-map/.
레이더-이미지 융합을 이용한 이미지 프레임 동적 객체 분할 및 자기 운동 추정
Image Frame Dynamic Object Segmentation and Ego Motion Estimation using Radar Image Fusion
동적 객체 분할(dynamic object segmentation)과 자기 운동 추정(ego-motion estimation)은 자율주행에서 긴밀하게 결합된 문제이다. 정확한 자기 운동 추정에는 일반적으로 정적 장면 관측이 필요한 반면, 정적 관측을 식별하기 위해서는 자기 운동에 대한 정보가 필요하기 때문이다. 우리는 이러한 결합 문제를 해결하기 위해 레이더 도플러(Doppler) 측정값을 활용하는 레이더-RGB 프레임워크인 Radar-Dot을 제시한다. 먼저 레이더 반사 신호를 선형 도플러 제약(linear Doppler constraint)을 통해 자기 속도(ego velocity) 추정에 사용하며, 잔차 기반 정적/동적 분할(residual-based static/dynamic segmentation)과 로버스트 추정(robust estimation)을 사용하여 이동 객체의 영향을 줄인다. 추정된 운동 정보는 이후 메트릭 깊이(metric depth) 및 밀집 광학 흐름(dense optical flow)과 결합되어, 관측된 움직임이 경직 장면 운동(rigid scene motion)과 일치하지 않는 이미지 영역을 식별하는 데 사용된다. nuScenes 장면 10개(nuscenes-mini의 일부)에 대한 실험 결과, 제안된 기하학적 파이프라인은 394개의 프레임 쌍에 대해 20.24%의 동적 IoU와 33.67%의 F1-score를 달성하였으며, 레이더 기반 정적 포인트 필터링(static-point filtering)은 모든 레이더 반사 신호를 사용하는 경우에 비해 자기 속도 추정을 향상시켰다. 이러한 결과는 레이더가 자기 운동 추정과 동적 객체 분할을 동시에 개선할 수 있는 모달리티(modality)로서의 잠재력을 보여준다.
RoadVGGT: 도로 구조 인식 피드포워드 도로 표면 재구성
RoadVGGT: Road-Structure-Aware Feed-Forward Road Surface Reconstruction
대규모 도로 표면 재구성은 고해상도 매핑, 자율주행 인식, 어노테이션, 시뮬레이션을 지원한다. 기존 도로 특화 최적화 방법은 고품질 도로 표현을 생성할 수 있지만, 일반적으로 장면별 학습과 주행 궤적 주변의 장면 의존적 커버리지 설계가 필요하여, 새로 수집된 도로에 대한 확장 가능한 재구성을 제한한다. 이러한 한계를 해결하기 위해, 테스트 시점 장면별 최적화 없이 간결한 가우시안 도로 표면을 재구성하는 도로 구조 인식 피드포워드 프레임워크인 RoadVGGT를 제안한다. RoadVGGT는 기하학적 파운데이션 모델을 사용하여 다중 뷰 이미지와 제공된 포즈 및 깊이 관측을 함께 활용하고, 학습된 가우시안 헤드를 통해 밀집한 픽셀 정렬 가우시안 속성을 예측한다. 이러한 밀집 예측을 대규모 도로 표면에 활용 가능하게 하기 위해, 일관된 미터법 세계 좌표계로 정렬하고 도로 정렬 XY 평면에서 신뢰도 가중 그리드 융합을 통해 중복 가우시안을 융합한다. 카테고리 인식 그룹화와 도로-보도 접합부 보호는 취약한 도로 구조 주변의 융합을 추가로 제어한다. 결과 표현은 RGB 및 의미론적 조감도(bird's-eye-view) 맵, 고도 추정, 새로운 시점 합성을 지원한다. RoadVGGT는 기존 방법의 장면별 최적화 필요성을 제거하고, 간결한 가우시안 표현으로 완전한 도로 표면을 재구성하며, 이미지 품질, 의미론적 매핑, 고도 정확도를 향상시킨다. 광범위한 실험은 확장 가능한 피드포워드 도로 표면 재구성을 위한 기하학적 파운데이션 모델의 잠재력을 입증한다.
시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크
A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal
스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/
토론
이 논문과 연결된 포럼 글이 아직 없습니다.