arXiv:2408.07613

Rethinking the Key Factors for the Generalization of Remote Sensing Stereo Matching Networks

Liting Jiang, Feng Wang, Wenyi Zhang, Peifeng Li, Hongjian You, Yuming Xiang

제출 2024-08-14

원문 초록

Stereo matching, a critical step of 3D reconstruction, has fully shifted towards deep learning due to its strong feature representation of remote sensing images. However, ground truth for stereo matching task relies on expensive airborne LiDAR data, thus making it difficult to obtain enough samples for supervised learning. To improve the generalization ability of stereo matching networks on cross-domain data from different sensors and scenarios, in this paper, we dedicate to study key training factors from three perspectives. (1) For the selection of training dataset, it is important to select data with similar regional target distribution as the test set instead of utilizing data from the same sensor. (2) For model structure, cascaded structure that flexibly adapts to different sizes of features is preferred. (3) For training manner, unsupervised methods generalize better than supervised methods, and we design an unsupervised early-stop strategy to help retain the best model with pre-trained weights as the basis. Extensive experiments are conducted to support the previous findings, on the basis of which we present an unsupervised stereo matching network with good generalization performance. We release the source code and the datasets at https://github.com/Elenairene/RKF_RSSM to reproduce the results and encourage future work.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.04203v2cs.CV공통 태그 3D Reconstruction, Stereo Matching

Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅

Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction

희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.

arXiv:2609.27442v1cs.CV공통 태그 3D Reconstruction, Stereo Matching

SatUnreal: Unreal Engine 기반 위성 스테레오 매칭을 위한 고정밀 합성 데이터셋

SatUnreal: A High-Precision Synthetic Dataset for Satellite Stereo Matching via Unreal Engine

위성 영상을 이용한 3D 재구성은 대규모 지형 분석에 필수적이지만, 정확한 가림(occlusion) 라벨을 갖춘 고충실도 학습 데이터셋이 부족한 것이 여전히 주요 병목이다. US3D, WHU-Stereo 같은 기존 벤치마크는 시공간 불일치—다시점 촬영 사이의 환경 변화와 그림자 위치 변화—라는 근본적 난제에 직면하며, LiDAR 희소성 때문에 가려진 영역에서 모호한 그라운드 트루스(ground truth)를 제공한다. 본 논문에서는 Unreal Engine 기반 시뮬레이션 파이프라인으로 이러한 한계를 근본적으로 극복하도록 설계된 고정밀 합성 데이터셋 SatUnreal을 제안한다. SatUnreal은 고해상도(0.3m GSD) 스테레오 쌍 10,000쌍을 제공하며, (1) 물리 기하 시뮬레이션(Physical Geometry Simulation)—기선(baseline)과 방위각(azimuth)을 체계적으로 변화시켜 현실적인 위성 궤도를 재현, (2) 시공간 일관성(Spatio-temporal Consistency)—고정 가상 환경으로 시간적 노이즈 제거, (3) 지형 다양성(Topographic Diversity)—밀집 도심 협곡부터 저텍스처 자연 지형까지, (4) 수학적 라벨 무결성(Mathematical Label Integrity)—새로운 2단계 linetrace 알고리즘으로 결함 없는 가림 마스크 생성—의 특징을 갖는다. SOTA 반복(iterative) 모델을 사용한 실험 결과, SatUnreal만으로 학습한 모델이 실데이터셋으로 학습한 모델보다 실세계 벤치마크(US3D, WHU-Stereo)에서 더 우수한 제로샷(zero-shot) 전이 성능을 보였다. 우리 결과는 물리적으로 정확한 합성 데이터가 복잡한 실세계 관측보다 기하학적 특징 학습에 더 효과적인 지도 신호를 제공함을 보여 주며, 지구 관측(Earth Observation)에서 Sim-to-Real 전이의 새로운 패러다임을 제시한다. 코드와 데이터셋은 https://github.com/jmp-Telepix/SatUnreal_A_High-Precision_Synthetic_Dataset_for_Satellite_Stereo_Matching_via_UnrealEngine 에서 이용할 수 있다.

arXiv:2607.24024v1cs.CV공통 태그 3D Reconstruction, Stereo Matching

시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크

A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal

스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/

arXiv:2607.19986v1cs.CV공통 태그 3D Reconstruction, Stereo Matching

STEREOFLOW: StereoDiT와 Transition Flow Matching 기반 점진적 스테레오 매칭

STEREOFLOW: Progressive Stereo Matching with StereoDiT and Transition Flow Matching

스테레오 매칭(stereo matching)은 3D 재구성에서 근본적인 과제이다. 비록 놀라운 발전이 있었지만, 지배적인 패러다임은 스테레오 매칭을 결정론적 회귀(regression) 문제로 공식화하여 다중모드(multimodal) 분포 모델링을 단일점 추정으로 축소한다. 이 공식화는 평균으로의 회귀(regression-to-mean) 바이어스에 시달리며, 모호한 영역에서 자주 어려움을 겪는다. 반면, 우리는 결정론적 매칭 회귀와 생성적 분포 모델링을 상호 보완적 공식화 내에서 통합하는 선행 정보 유도(prior-guided) 생성적 프레임워크를 제안한다. 이 공식화를 바탕으로, 세 가지 핵심 구성 요소를 통해 StereoFlow를 제안한다: (i) 보완적 매칭 단서를 갖춘 다중 해상도 스테레오 조건을 점진적으로 생성하는 2단계 점진적 캐스케이드 매칭 네트워크; (ii) 대응(correspondence) 모호성을 모델링하기 위한 주파수 분리(frequency-decoupled) 아키텍처를 갖춘, StereoDiT라 불리는 픽셀 확산(diffusion) 트랜스포머; (iii) 효율적 최적화(optimization)를 위한, Transition Flow Matching이라 불리는 소수 단계 플로우 매칭(flow matching) 목적 함수. 요약하면, StereoFlow는 강한 기하학적 일관성과 ill-posed한 불연속 영역 및 제로샷(zero-shot) 일반화에서 풍부한 세밀한 디테일을 달성한다. 광범위한 실험은 제안된 StereoFlow가 Scene Flow, KITTI, ETH3D, Middlebury를 포함한 여러 벤치마크(benchmark)에서 다수의 최신(state-of-the-art) 결과를 달성함을 보여준다.

arXiv:2607.09169v1cs.CV공통 태그 3D Reconstruction, Stereo Matching

TSR-Ego: 자아중심 3D 인체 자세 추정을 위한 시간 유도 스테레오 정제 프레임워크

TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation

헤드 마운트 스테레오 카메라를 이용한 자아중심(egocentric) 3D 인체 자세 추정은 어안 왜곡, 심각한 자기 폐색, 카메라 시야 밖으로 빈번하게 잘리는 신체 관절로 인해 어려운 과제이다. 최근 스테레오 자아중심 방법들은 히트맵 리프팅, 스테레오 대응, 트랜스포머 기반 정제를 통해 성능을 향상시켰지만, 프레임 단위의 로컬 증거에 과도하게 의존하거나 시간적 정보를 보조적인 자세 수준의 컨텍스트로만 활용하는 경우가 많다. 이는 현재 프레임의 스테레오 단서가 약하거나, 폐색되거나, 모호한 경우 견고성을 저해한다. 우리는 단기 모션 증거와 투영 유도 특징 샘플링을 결합한 시간 유도 스테레오 프레임워크인 TSR-Ego를 제안한다. 본 모델은 먼저 인과적 깊이별 분리 가능 시간 합성곱(causal depthwise-separable temporal convolution)을 사용하여 밀집 스테레오 특징 맵을 풍부하게 만들어, 변형 가능한 교차 어텐션(deformable cross-attention) 이전에 과거 시각적 증거가 특징 공간에 영향을 미칠 수 있도록 한다. 이어서 단일 단계 인과적 스테레오 디코더가 시간적 자기 어텐션, 관절 자기 어텐션, 어안 변형 가능 스테레오 교차 어텐션을 통해 학습된 3D 관절 쿼리를 정제하며, 진화하는 자세 추정값을 활용하여 2D 샘플링 참조를 생성한다. 자세 예측 이후에 시간적 추론을 주로 적용하는 방법들과 달리, TSR-Ego는 미래 프레임 없이 온라인 추론을 유지하면서 모션 컨텍스트를 활용하여 샘플링된 스테레오 특징과 관절 표현 모두를 형성한다. UnrealEgo2 및 UnrealEgo-RW에 대한 실험에서 최첨단 성능을 달성하였으며, 특히 실제 환경 시퀀스에서 두드러진 성능 향상을 보였다.

arXiv:2607.03875v2cs.CV공통 태그 3D Reconstruction

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

토론

이 논문과 연결된 포럼 글이 아직 없습니다.