Stereo Object Matching Network
원문 초록
This paper presents a stereo object matching method that exploits both 2D contextual information from images as well as 3D object-level information. Unlike existing stereo matching methods that exclusively focus on the pixel-level correspondence between stereo images within a volumetric space (i.e., cost volume), we exploit this volumetric structure in a different manner. The cost volume explicitly encompasses 3D information along its disparity axis, therefore it is a privileged structure that can encapsulate the 3D contextual information from objects. However, it is not straightforward since the disparity values map the 3D metric space in a non-linear fashion. Thus, we present two novel strategies to handle 3D objectness in the cost volume space: selective sampling (RoISelect) and 2D-3D fusion (fusion-by-occupancy), which allow us to seamlessly incorporate 3D object-level information and achieve accurate depth performance near the object boundary regions. Our depth estimation achieves competitive performance in the KITTI dataset and the Virtual-KITTI 2.0 dataset.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SatUnreal: Unreal Engine 기반 위성 스테레오 매칭을 위한 고정밀 합성 데이터셋
SatUnreal: A High-Precision Synthetic Dataset for Satellite Stereo Matching via Unreal Engine
위성 영상을 이용한 3D 재구성은 대규모 지형 분석에 필수적이지만, 정확한 가림(occlusion) 라벨을 갖춘 고충실도 학습 데이터셋이 부족한 것이 여전히 주요 병목이다. US3D, WHU-Stereo 같은 기존 벤치마크는 시공간 불일치—다시점 촬영 사이의 환경 변화와 그림자 위치 변화—라는 근본적 난제에 직면하며, LiDAR 희소성 때문에 가려진 영역에서 모호한 그라운드 트루스(ground truth)를 제공한다. 본 논문에서는 Unreal Engine 기반 시뮬레이션 파이프라인으로 이러한 한계를 근본적으로 극복하도록 설계된 고정밀 합성 데이터셋 SatUnreal을 제안한다. SatUnreal은 고해상도(0.3m GSD) 스테레오 쌍 10,000쌍을 제공하며, (1) 물리 기하 시뮬레이션(Physical Geometry Simulation)—기선(baseline)과 방위각(azimuth)을 체계적으로 변화시켜 현실적인 위성 궤도를 재현, (2) 시공간 일관성(Spatio-temporal Consistency)—고정 가상 환경으로 시간적 노이즈 제거, (3) 지형 다양성(Topographic Diversity)—밀집 도심 협곡부터 저텍스처 자연 지형까지, (4) 수학적 라벨 무결성(Mathematical Label Integrity)—새로운 2단계 linetrace 알고리즘으로 결함 없는 가림 마스크 생성—의 특징을 갖는다. SOTA 반복(iterative) 모델을 사용한 실험 결과, SatUnreal만으로 학습한 모델이 실데이터셋으로 학습한 모델보다 실세계 벤치마크(US3D, WHU-Stereo)에서 더 우수한 제로샷(zero-shot) 전이 성능을 보였다. 우리 결과는 물리적으로 정확한 합성 데이터가 복잡한 실세계 관측보다 기하학적 특징 학습에 더 효과적인 지도 신호를 제공함을 보여 주며, 지구 관측(Earth Observation)에서 Sim-to-Real 전이의 새로운 패러다임을 제시한다. 코드와 데이터셋은 https://github.com/jmp-Telepix/SatUnreal_A_High-Precision_Synthetic_Dataset_for_Satellite_Stereo_Matching_via_UnrealEngine 에서 이용할 수 있다.
시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크
A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal
스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/
STEREOFLOW: StereoDiT와 Transition Flow Matching 기반 점진적 스테레오 매칭
STEREOFLOW: Progressive Stereo Matching with StereoDiT and Transition Flow Matching
스테레오 매칭(stereo matching)은 3D 재구성에서 근본적인 과제이다. 비록 놀라운 발전이 있었지만, 지배적인 패러다임은 스테레오 매칭을 결정론적 회귀(regression) 문제로 공식화하여 다중모드(multimodal) 분포 모델링을 단일점 추정으로 축소한다. 이 공식화는 평균으로의 회귀(regression-to-mean) 바이어스에 시달리며, 모호한 영역에서 자주 어려움을 겪는다. 반면, 우리는 결정론적 매칭 회귀와 생성적 분포 모델링을 상호 보완적 공식화 내에서 통합하는 선행 정보 유도(prior-guided) 생성적 프레임워크를 제안한다. 이 공식화를 바탕으로, 세 가지 핵심 구성 요소를 통해 StereoFlow를 제안한다: (i) 보완적 매칭 단서를 갖춘 다중 해상도 스테레오 조건을 점진적으로 생성하는 2단계 점진적 캐스케이드 매칭 네트워크; (ii) 대응(correspondence) 모호성을 모델링하기 위한 주파수 분리(frequency-decoupled) 아키텍처를 갖춘, StereoDiT라 불리는 픽셀 확산(diffusion) 트랜스포머; (iii) 효율적 최적화(optimization)를 위한, Transition Flow Matching이라 불리는 소수 단계 플로우 매칭(flow matching) 목적 함수. 요약하면, StereoFlow는 강한 기하학적 일관성과 ill-posed한 불연속 영역 및 제로샷(zero-shot) 일반화에서 풍부한 세밀한 디테일을 달성한다. 광범위한 실험은 제안된 StereoFlow가 Scene Flow, KITTI, ETH3D, Middlebury를 포함한 여러 벤치마크(benchmark)에서 다수의 최신(state-of-the-art) 결과를 달성함을 보여준다.
구조적 레이더 포인트 클라우드 생성을 위한 깊이-시맨틱 정렬 및 친화도 안내 융합
Depth-Semantic Alignment and Affinity-Guided Fusion for Structured Radar Point Cloud Generation
포인트 클라우드(point cloud)는 3차원 공간 정보의 중요한 매체이며, 그 품질은 객체 검출 및 추적과 같은 하위 인식 작업의 성능에 직접적인 영향을 미친다. 그러나 밀리미터파 레이더 포인트 클라우드는 일반적으로 희소하고 노이즈가 많으며 구조적으로 불완전하다. 이러한 한계를 해결하기 위해 본 논문은 비전-레이더(vision-radar) 융합 기반의 멀티모달 포인트 클라우드 생성 방법을 제안한다. 제안 방법은 이미지 시맨틱 정보를 활용하여 구조적 제약을 부과하고 레이더 포인트 클라우드의 공간 정렬을 달성하며, 동시에 희소 보완 전략을 통합하여 포인트 밀도를 높이고 누락된 구조를 복원한다. 생성된 포인트 클라우드는 객체 검출 및 추적 작업에서 추가로 평가된다. 실험 결과, 제안 방법이 포인트 클라우드 품질을 효과적으로 개선하고 복잡한 환경에서 인식 모델의 검출 정확도와 견고성(robustness)을 향상시킴을 보여 주며, 다중 센서 포인트 클라우드 생성 및 지능형 인식 시스템을 위한 실용적인 해결책을 제공한다.
WAVE-Stereo: 스테레오 매칭을 위한 워프 정렬 볼륨 인코딩
WAVE-Stereo: Warp-Aligned Volume Encoding for Stereo Matching
기존 반복적 스테레오 매칭 방법들은 주로 두 가지 대응 관계 표현 방식을 채택한다. 하나는 상관 볼륨(correlation volume)을 통한 명시적 매칭 탐색이고, 다른 하나는 워프된 특징(warped feature)을 통한 국소 잔차 정제이지만, 이 둘은 여전히 별도로 모델링된다. 우리는 WAVE-Stereo를 제안한다. 핵심 통찰은 상관 볼륨과 특징 워핑(feature warping)이 상보적인 매칭 단서를 제공한다는 것이다. GeoWarp Correspondence Encoder(GWCE)는 ConvGRU 입력에서 매칭 탐색, 잔차 정렬, 시차(disparity) 사전을 병렬로 인코딩한다. 텍스처가 없는 영역에서의 매칭 저하를 완화하기 위해, 주기적으로 전역 공간 정보를 전파하는 Periodic Global Context Propagation(PGCP)을 제안한다. Middlebury, ETH3D, KITTI 2012, KITTI 2015, Booster의 다섯 가지 실세계 벤치마크에서 WAVE-Stereo는 외부 기반 모델(foundation model) 사전 지식 없이 경쟁력 있는 제로샷(zero-shot) 일반화 정확도를 달성한다. KITTI 2015에서 3.18% D1-all, Booster에서 4.42% Bad-2.0, 66ms 실시간 추론을 기록하며 정확도와 효율성 사이의 유리한 균형을 이룬다. 코드는 https://github.com/yamanoko-do/WAVE-Stereo 에서 이용할 수 있다.
DeGuNet: Depth-Guided Ultra-Compact Backbones for Efficient LiDAR-Camera 3D Detection
페이퍼 제목과 초록을 번역 규칙에 맞춰 정리했습니다. {"title_ko": "DeGuNet: 효율적인 LiDAR-카메라 3D 객체 검출을 위한 깊이 유도 초경량 백본", "abstract_ko": "자율주행 인식에서 LiDAR와 카메라 모달리티의 융합은 3D 객체 검출의 지배적인 패러다임이 되었다. 그러나 현재의 다중 모달리티 프레임워크는 2D 의미론적 태스크로 사전학습된 대규모 시각 백본에 크게 의존한다. 이러한 의존은 상당한 매개변수 중복과 구조적 불일치를 초래하는데, 2D 사전지식(prior)은 Bird's-Eye-View(BEV) 기하학에 필요한 LiDAR 투영의 극심한 희소성을 다루기에 부적합하기 때문이다. 이를 해결하기 위해, 우리는 깊이 유도 표현 학습을 위해 명시적으로 설계된 초경량 및 플러그 앤 플레이(plug-and-play) 이미지 백본인 DeGuNet을 제안한다. 희소성 인식 특징 추출 메커니즘을 통합함으로써, DeGuNet은 다중 뷰 이미지를 비구조적 LiDAR 깊이와 효과적으로 정렬하면서 유효하지 않은 영역의 오염을 엄격히 방지한다. nuScenes 데이터셋에 대한 광범위한 실험은 DeGuNet의 폭넓은 플러그 앤 플레이 적용성과 우수한 효율성을 입증한다. 기존 베이스라인에 통합했을 때, DeGuNet은 구조적 중복을 근본적으로 제거하여 GPU 메모리 사용량을 최대 66.5% 줄이고 1.16배의 추론 속도 향상을 달성한다. 동시에 DeGuNet은 최대 6.20의 절대 mAP 향상을 제공하여, 매개변수 효율적인 다중 모달리티 3D 인식을 위한 새로운 패러다임을 제시한다."}
토론
이 논문과 연결된 포럼 글이 아직 없습니다.