PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.04203v2cs.CV

Sparse-GS2Mesh: 희소 시점 표면 재구성을 위한 새로운 스테레오 시점 및 2DGS 기반 3D 가우시안 스플래팅

Sparse-GS2Mesh: 3D Gaussian Splatting Guided by Novel Stereo Views and 2DGS for Sparse View Surface Reconstruction

희소 시점(sparse-view) 환경에서의 표면 재구성(surface reconstruction)은 제한적인 기하학적 단서로 인해 여전히 어려운 과제로 남아 있습니다. 부호화 거리 함수(SDF) 기반의 볼륨 렌더링 방식은 지나치게 매끄러운 표면을 생성하는 경향이 있는 반면, 3D 가우시안 스플래팅(3DGS)은 시간 효율적이지만 신뢰할 수 있는 깊이 감독(depth supervision)의 부재와 주어진 입력 시점에서만 최적화된다는 한계로 인해 불완전한 기하학적 구조를 갖는 문제가 있습니다. 본 논문에서는 희소 시점으로부터의 표면 재구성을 위한 스테레오 인식 프레임워크인 Sparse-GS2Mesh를 제안합니다. 3DGS와 스테레오 매칭은 밀집 시점 환경에서 표면 재구성에 활용되어 왔으나, 본 연구에서는 3DGS의 과적합(overfitting) 문제를 완화하기 위해 에피폴라 깊이 사전확률(epipolar depth priors)을 사용해 3DGS를 먼저 초기화한 후 세 가지 핵심 요소를 적용함으로써 희소 시점 조건에서도 효과적으로 작동하도록 확장합니다: (I) 적응형 기준선(baseline) 선택, (II) 스테레오 매칭 네트워크를 활용한 미세조정(fine-tuning), 그리고 (III) 2D/3D 공동 정규화(regularization) 미세조정입니다. 에피폴라 깊이로 초기화되어 웜업된 3DGS가 주어지면, 적응형 기준선 선택 모듈은 각 희소 시점에 대해 합성할 기준선을 자동으로 결정합니다. 그런 다음 스테레오 매칭 네트워크로부터 깊이 정제 그래디언트를 역전파하여 3DGS를 미세조정함으로써, 스테레오 매칭에 특화되도록 3DGS를 효과적으로 조정합니다. 2D/3D 공동 정규화는 가까운 스테레오 시점에서의 취약한 기하학적 단서 문제를 해결하여 안정적인 재구성을 얻을 수 있도록 돕습니다. Sparse-GS2Mesh는 중첩이 거의 없는 설정에서 최고 수준(SOTA)의 방법들 대비 15%의 성능 향상을 달성하며, 중첩이 큰 설정에서도 대등한 결과를 보여줍니다. 코드는 공개될 예정입니다.

arXiv:2508.10838v3cs.CV

MAGIC: 비지도 스테레오 매칭을 위한 가시성 비대칭 기반 학습

MAGIC: Learning from Visibility Asymmetry for Unsupervised Stereo Matching

가려진 영역(occluded regions)에서 시차(disparity)를 학습하는 것은 비지도 스테레오 매칭(unsupervised stereo matching)에서 여전히 어려운 과제로 남아 있습니다. 광도 지도(photometric supervision)는 이러한 영역에서 유효한 타깃 뷰 대응점(target-view correspondences)이 부족하며, 기존의 양안 자기 훈련(binocular self-training)에서는 교사(teacher)와 학생(student) 모델이 동일한 타깃 뷰를 공유하므로 가려짐 또한 동일하게 발생합니다. 지도가 가능한 경우라도 가려진 픽셀의 비율이 적어 학습(training)에 대한 기여도가 제한적입니다. 본 논문에서는 신뢰성 있고 효과적인 가려짐 지도를 위해 다중 기준선 기하학적 일관성 프레임워크인 MAGIC을 제안합니다. 교사와 학생 모델은 참조 이미지를 공유하지만 서로 다른 타깃 뷰를 사용하여, 교사 모델이 학생 모델에서 가려진 대응점을 관찰할 수 있도록 합니다. 기준선(baseline) 간 시차를 정렬한 후, MAGIC은 교사 모델에 보이는 영역의 예측값을 활용하여 학생 모델에서 가려진 영역을 지도합니다. 또한 가려짐 인식 가중치 전략을 통해 교사에게는 보이지만 학생에게는 가려진 픽셀에 대한 지도를 강화함으로써, 가려지지 않은 영역에 의해 학습 신호가 압도되는 것을 방지합니다. 아울러 다양한 장면, 날씨, 조명을 아우르는 합성 다중 기준선 스테레오 데이터셋(dataset)인 MBS20K를 소개합니다. MBS20K로 사전학습(pre-training)된 MAGIC은 가려진 영역의 이상치(outlier)를 일관되게 줄이며 실제 데이터셋으로 잘 일반화됩니다. KITTI에서 이 사전학습 모델은 이미 미세조정(fine-tuning)된 여러 비지도 방법들의 성능을 능가합니다. 표준 양안 쌍에 대해 이 모델을 미세조정하면 KITTI 2015 및 2012에서 최고 수준(state-of-the-art)의 비지도 성능을 달성합니다. 미세조정 중 합성된 다중 기준선 뷰를 포함하면 성능이 더욱 향상됩니다. 코드와 데이터셋은 논문 채택 시 공개될 예정입니다.

arXiv:2609.27442v1cs.CV

SatUnreal: Unreal Engine 기반 위성 스테레오 매칭을 위한 고정밀 합성 데이터셋

SatUnreal: A High-Precision Synthetic Dataset for Satellite Stereo Matching via Unreal Engine

위성 영상을 이용한 3D 재구성은 대규모 지형 분석에 필수적이지만, 정확한 가림(occlusion) 라벨을 갖춘 고충실도 학습 데이터셋이 부족한 것이 여전히 주요 병목이다. US3D, WHU-Stereo 같은 기존 벤치마크는 시공간 불일치—다시점 촬영 사이의 환경 변화와 그림자 위치 변화—라는 근본적 난제에 직면하며, LiDAR 희소성 때문에 가려진 영역에서 모호한 그라운드 트루스(ground truth)를 제공한다. 본 논문에서는 Unreal Engine 기반 시뮬레이션 파이프라인으로 이러한 한계를 근본적으로 극복하도록 설계된 고정밀 합성 데이터셋 SatUnreal을 제안한다. SatUnreal은 고해상도(0.3m GSD) 스테레오 쌍 10,000쌍을 제공하며, (1) 물리 기하 시뮬레이션(Physical Geometry Simulation)—기선(baseline)과 방위각(azimuth)을 체계적으로 변화시켜 현실적인 위성 궤도를 재현, (2) 시공간 일관성(Spatio-temporal Consistency)—고정 가상 환경으로 시간적 노이즈 제거, (3) 지형 다양성(Topographic Diversity)—밀집 도심 협곡부터 저텍스처 자연 지형까지, (4) 수학적 라벨 무결성(Mathematical Label Integrity)—새로운 2단계 linetrace 알고리즘으로 결함 없는 가림 마스크 생성—의 특징을 갖는다. SOTA 반복(iterative) 모델을 사용한 실험 결과, SatUnreal만으로 학습한 모델이 실데이터셋으로 학습한 모델보다 실세계 벤치마크(US3D, WHU-Stereo)에서 더 우수한 제로샷(zero-shot) 전이 성능을 보였다. 우리 결과는 물리적으로 정확한 합성 데이터가 복잡한 실세계 관측보다 기하학적 특징 학습에 더 효과적인 지도 신호를 제공함을 보여 주며, 지구 관측(Earth Observation)에서 Sim-to-Real 전이의 새로운 패러다임을 제시한다. 코드와 데이터셋은 https://github.com/jmp-Telepix/SatUnreal_A_High-Precision_Synthetic_Dataset_for_Satellite_Stereo_Matching_via_UnrealEngine 에서 이용할 수 있다.

arXiv:2606.25483v2cs.CV

독립적인 샘플, 상관된 분산: 경로 추적 스테레오 데이터에서 학습 가능한 교차 뷰 단서

Independent Samples, Correlated Variance A Learnable Cross-View Cue in Path-Traced Stereo Data

경로 추적(path tracing) 기반 합성 스테레오는 디스패리티(disparity) 네트워크를 위한 주요 학습(training) 기반 데이터이며, 이를 사용하는 파이프라인들은 몬테카를로(Monte Carlo, MC) 렌더링 노이즈가 두 뷰 사이에서 독립적이라고 가정한다. 이 가정은 그것이 언급되는 수준, 즉 개별 샘플 수준에서는 옳지만, 네트워크가 실제로 보는 대상에 대해서는 아무것도 말해주지 않는다. 우리는 픽셀별 MC \emph{분산 필드}가 독립적인 샘플들로부터 구성되었음에도 불구하고, 정답(ground-truth) 디스패리티로 정렬하고 나면 강하게 상관되어 있으며, 네트워크가 이 상관관계를 이용해 매칭하는 법을 학습할 수 있음을 보인다. 20개의 실내 장면에서 워핑된 상관관계는 $0.754\pm0.016$인 반면 워핑하지 않은 경우는 $0.360$이다. 이 결과는 서로 다른 샘플러와 샘플 예산을 가진 두 번째 렌더러에서도 재현되며($0.743\pm0.044$), 시드 수 분석에 따르면 모집단 값은 약 $0.85$에 이르러 이 측정치가 하한값임을 시사한다. 이 효과는 샘플 수준이 아닌 필드 수준에서 나타난다. 즉 워프 대응(warp correspondence) 지점에서 부호가 있는 시드별 잔차 상관관계는 $-0.0004$인 반면, 잔차 포락선(residual envelope)의 상관관계는 $0.38$이다. 분산 필드 패치만 주어진, 용량이 제한된 샴(siamese) 프로브는 홀드아웃 장면에서 2지선다 강제 선택(two-alternative forced-choice) 정확도 $78.8\%$를 달성하며, 정렬이 깨지면 우연 수준으로 떨어진다. 일반적인 단일 렌더링 조건에서도, 상관 제거(decorrelation)는 이중차분법(difference-in-differences) 설계에서 $2.40$ 퍼센트포인트의 손실을 초래하며, 이는 6개의 홀드아웃 장면 모두에서 양의 값으로 나타난다. 실제 센서의 분산은 전달(transport) 난이도가 아니라 자체 신호에 의해 결정되므로, 뷰 간에는 강도(intensity)와 중복된 정보를 지니게 된다. 즉 이 단서는 렌더링된 데이터에 특화된 것이다.

arXiv:2607.24024v1cs.CV

시차 및 표면 법선을 위한 통합 스테레오 기하 추정 프레임워크

A Unified Stereo Geometry Estimation Framework for Disparity and Surface Normal

스테레오 매칭과 표면 법선 추정은 3D 비전에서 기본적인 과제이다. 그러나 기존 피드포워드(feed-forward) 스테레오 방법은 강력한 기하 사전(prior)의 부족으로 인해 어려운 영역에서 신뢰할 수 있는 예측을 생성하는 데 여전히 어려움을 겪는다. 본 논문에서는 강력한 diffusion 사전을 활용하여 시차와 표면 법선을 공동으로 예측하는 통합 스테레오 기하 추정 프레임워크인 GeoStereo를 제안한다. 구체적으로, GeoStereo는 피드포워드 스테레오 매칭 파이프라인과 diffusion 기반 법선 추정 분기(branch)를 결합한다. 두 과제 간 효과적인 상호작용을 가능하게 하기 위해, 시차에서 법선으로의 초기화 전략을 도입하고 diffusion 과정을 위한 왼쪽 뷰(left-view) 조건으로의 warp를 구성한다. 이 결합 설계는 diffusion 분기가 ill-posed 영역에서 시차 추정을 향상시키는 강력한 구조적 사전을 제공하는 동시에, 피드포워드 분기가 정확한 법선 예측을 위한 신뢰할 수 있는 기하적 안내를 제공하도록 한다. 광범위한 실험 결과, GeoStereo는 저조도 환경, 고반사 표면, 투명 물체 등 어려운 시나리오에서도 안정적으로 동작함을 보여준다. 제로샷(zero-shot) 설정에서 KITTI, NYUv2 등 여러 벤치마크에서 시차 추정 Rank-1을 달성하며, iBims-1, ScanNet 등 다수의 실내 벤치마크에서 최고의 법선 추정 정확도를 제공한다. Project page: https://qz-wei.github.io/GeoStereo.github.io/

arXiv:2607.19986v1cs.CV

STEREOFLOW: StereoDiT와 Transition Flow Matching 기반 점진적 스테레오 매칭

STEREOFLOW: Progressive Stereo Matching with StereoDiT and Transition Flow Matching

스테레오 매칭(stereo matching)은 3D 재구성에서 근본적인 과제이다. 비록 놀라운 발전이 있었지만, 지배적인 패러다임은 스테레오 매칭을 결정론적 회귀(regression) 문제로 공식화하여 다중모드(multimodal) 분포 모델링을 단일점 추정으로 축소한다. 이 공식화는 평균으로의 회귀(regression-to-mean) 바이어스에 시달리며, 모호한 영역에서 자주 어려움을 겪는다. 반면, 우리는 결정론적 매칭 회귀와 생성적 분포 모델링을 상호 보완적 공식화 내에서 통합하는 선행 정보 유도(prior-guided) 생성적 프레임워크를 제안한다. 이 공식화를 바탕으로, 세 가지 핵심 구성 요소를 통해 StereoFlow를 제안한다: (i) 보완적 매칭 단서를 갖춘 다중 해상도 스테레오 조건을 점진적으로 생성하는 2단계 점진적 캐스케이드 매칭 네트워크; (ii) 대응(correspondence) 모호성을 모델링하기 위한 주파수 분리(frequency-decoupled) 아키텍처를 갖춘, StereoDiT라 불리는 픽셀 확산(diffusion) 트랜스포머; (iii) 효율적 최적화(optimization)를 위한, Transition Flow Matching이라 불리는 소수 단계 플로우 매칭(flow matching) 목적 함수. 요약하면, StereoFlow는 강한 기하학적 일관성과 ill-posed한 불연속 영역 및 제로샷(zero-shot) 일반화에서 풍부한 세밀한 디테일을 달성한다. 광범위한 실험은 제안된 StereoFlow가 Scene Flow, KITTI, ETH3D, Middlebury를 포함한 여러 벤치마크(benchmark)에서 다수의 최신(state-of-the-art) 결과를 달성함을 보여준다.

arXiv:2607.13674v1cs.CV

WAVE-Stereo: 스테레오 매칭을 위한 워프 정렬 볼륨 인코딩

WAVE-Stereo: Warp-Aligned Volume Encoding for Stereo Matching

기존 반복적 스테레오 매칭 방법들은 주로 두 가지 대응 관계 표현 방식을 채택한다. 하나는 상관 볼륨(correlation volume)을 통한 명시적 매칭 탐색이고, 다른 하나는 워프된 특징(warped feature)을 통한 국소 잔차 정제이지만, 이 둘은 여전히 별도로 모델링된다. 우리는 WAVE-Stereo를 제안한다. 핵심 통찰은 상관 볼륨과 특징 워핑(feature warping)이 상보적인 매칭 단서를 제공한다는 것이다. GeoWarp Correspondence Encoder(GWCE)는 ConvGRU 입력에서 매칭 탐색, 잔차 정렬, 시차(disparity) 사전을 병렬로 인코딩한다. 텍스처가 없는 영역에서의 매칭 저하를 완화하기 위해, 주기적으로 전역 공간 정보를 전파하는 Periodic Global Context Propagation(PGCP)을 제안한다. Middlebury, ETH3D, KITTI 2012, KITTI 2015, Booster의 다섯 가지 실세계 벤치마크에서 WAVE-Stereo는 외부 기반 모델(foundation model) 사전 지식 없이 경쟁력 있는 제로샷(zero-shot) 일반화 정확도를 달성한다. KITTI 2015에서 3.18% D1-all, Booster에서 4.42% Bad-2.0, 66ms 실시간 추론을 기록하며 정확도와 효율성 사이의 유리한 균형을 이룬다. 코드는 https://github.com/yamanoko-do/WAVE-Stereo 에서 이용할 수 있다.

arXiv:2607.09284v1cs.CV

일반화된 스테레오 매칭을 위한 단안 깊이 임베딩 재고찰

Rethinking Monocular Depth Embedding for Generalized Stereo Matching

일반적으로 단안(monocular) 방법은 풍부한 맥락적 사전 정보를 포착하지만 기하학적 정밀도(precision)가 부족한 반면, 스테레오 방법은 기하학적으로 정확하지만 텍스처가 없거나 가려진 영역에서 어려움을 겪는다. 여러 접근 방식이 단안 깊이를 스테레오 정보와 정렬함으로써 스테레오 매칭(SM)의 일반화를 향상시키기 위해 양쪽의 강점을 결합하려 시도한다. 그러나 안정적이고 일반화 가능한 정렬을 구축하는 것은 어렵고, 신뢰할 수 없는 단안 단서는 성능을 크게 저하시킬 수 있다. 본 논문은 단안 깊이 임베딩(embedding)을 재고찰한다. 첫째, 단축 학습(shortcut learning)을 방지하기 위해 네트워크 너비를 확장하는 대신 브랜치 결합을 줄인다. 둘째, 단안 깊이 오류에 대한 허용 오차를 높이기 위해 단안 깊이로부터 강한 제약 대신 소프트 제약을 구성한다. 이러한 원칙에 기반하여, 특징(feature) 추출과 GRU 반복 모두에 단안 정보를 통합한다. 구체적으로, 단안 깊이 맵을 RGB 이미지와 융합하여 깊이 경계 인식을 선명하게 하고 매칭 모호성을 억제한다. 융합된 이미지는 이후 특징 추출에 사용되어, 맥락적 특징이 전역 기하학적 정보를 인코딩할 수 있게 한다. 나아가, 단안 깊이 그래디언트(gradient) 특징을 활용하여 시차 업데이트를 안내함으로써 국소 진동에서 벗어나도록 돕는다. 마지막으로, 데이터 증강(data augmentation)으로 인한 지도 시차의 경계 흐림 문제를 해결하기 위해 엣지 신뢰도 추정 방법과 엣지 인식 손실(loss) 함수를 제안한다. 우리의 방법은 다수의 표준 벤치마크에서 최첨단(SOTA) 성능을 달성하며, 정확도를 향상시키는 동시에 우수한 일반화 능력을 보여준다. 코드는 https://github.com/linliboabc-maker/stereo-matching-digital 에서 확인할 수 있다.

arXiv:2607.09169v1cs.CV

TSR-Ego: 자아중심 3D 인체 자세 추정을 위한 시간 유도 스테레오 정제 프레임워크

TSR-Ego: Temporally Guided Stereo Refinement Framework for Egocentric 3D Human Pose Estimation

헤드 마운트 스테레오 카메라를 이용한 자아중심(egocentric) 3D 인체 자세 추정은 어안 왜곡, 심각한 자기 폐색, 카메라 시야 밖으로 빈번하게 잘리는 신체 관절로 인해 어려운 과제이다. 최근 스테레오 자아중심 방법들은 히트맵 리프팅, 스테레오 대응, 트랜스포머 기반 정제를 통해 성능을 향상시켰지만, 프레임 단위의 로컬 증거에 과도하게 의존하거나 시간적 정보를 보조적인 자세 수준의 컨텍스트로만 활용하는 경우가 많다. 이는 현재 프레임의 스테레오 단서가 약하거나, 폐색되거나, 모호한 경우 견고성을 저해한다. 우리는 단기 모션 증거와 투영 유도 특징 샘플링을 결합한 시간 유도 스테레오 프레임워크인 TSR-Ego를 제안한다. 본 모델은 먼저 인과적 깊이별 분리 가능 시간 합성곱(causal depthwise-separable temporal convolution)을 사용하여 밀집 스테레오 특징 맵을 풍부하게 만들어, 변형 가능한 교차 어텐션(deformable cross-attention) 이전에 과거 시각적 증거가 특징 공간에 영향을 미칠 수 있도록 한다. 이어서 단일 단계 인과적 스테레오 디코더가 시간적 자기 어텐션, 관절 자기 어텐션, 어안 변형 가능 스테레오 교차 어텐션을 통해 학습된 3D 관절 쿼리를 정제하며, 진화하는 자세 추정값을 활용하여 2D 샘플링 참조를 생성한다. 자세 예측 이후에 시간적 추론을 주로 적용하는 방법들과 달리, TSR-Ego는 미래 프레임 없이 온라인 추론을 유지하면서 모션 컨텍스트를 활용하여 샘플링된 스테레오 특징과 관절 표현 모두를 형성한다. UnrealEgo2 및 UnrealEgo-RW에 대한 실험에서 최첨단 성능을 달성하였으며, 특히 실제 환경 시퀀스에서 두드러진 성능 향상을 보였다.

arXiv:2606.24457v1cs.CV

Lite Any Stereo V2: 더 빠르고 강력한 효율적 제로샷 스테레오 매칭

Lite Any Stereo V2: Faster and Stronger Efficient Zero-Shot Stereo Matching

스테레오 매칭 분야의 최근 발전은 놀라운 정확도를 달성했지만, 대형 모델이나 높은 연산량, 또는 추가적인 파운데이션 모델 사전 정보에 의존하는 경우가 많아 자원이 제한된 플랫폼에 배포하기 어렵다. 반면, 효율적인 스테레오 모델은 더 빠른 추론을 제공하지만 강력한 제로샷 일반화 능력이 부족하다는 인식이 일반적이다. 본 논문에서는 이러한 가정에 도전하여, 효율적인 제로샷 스테레오 매칭을 위해 설계된 초고속 모델 시리즈인 Lite Any Stereo V2(LAS2)를 제안한다. LAS2는 아키텍처와 학습 두 가지 관점에서 개발되었다. 아키텍처 측면에서, 실제 배포 환경을 고려한 효율적인 스테레오 설계를 재검토하고, 이론적 MAC 수치만이 아닌 실제 추론 지연 시간을 최적화한 2D 전용 비용 집계(cost aggregation) 프레임워크를 제안한다. 학습 측면에서는, 합성 데이터 지도 학습, 자기 증류(self-distillation), 그리고 실세계 지식 증류를 결합한 3단계 학습 전략을 개발한다. 실세계 유사 지도(pseudo supervision)의 신뢰성을 높이기 위해, 유사 레이블 필터링과 오류 클램핑(error-clamping) 연산을 추가로 도입하여 합성-실세계 전이를 더욱 원활하게 한다. LAS2는 다양한 효율성 예산을 위한 피드포워드 변형 모델과 더 높은 정확도를 위한 반복적 변형 모델을 포함하는 모델 패밀리로 구성된다. 광범위한 실험을 통해 LAS2가 효율적인 스테레오 방법들 중 최첨단 정확도를 달성하면서도 현저히 낮은 지연 시간을 유지함을 보인다. 특히, LAS2-H는 반복적 방법인 Fast-FoundationStereo보다 전반적으로 더 강한 제로샷 성능을 달성하며, H200과 Orin에서 각각 1.8배 및 2.7배 빠른 추론 속도를 보인다. 프로젝트 페이지, 데모, 코드는 https://tomtomtommi.github.io/LiteAnyStereoV2/ 에서 확인할 수 있다.

arXiv:2606.17475v1cs.CV

StereoFactory: 강건한 스테레오 매칭을 위한 통합 병합 프레임워크

StereoFactory: A Unified Merging Framework for Robust Stereo Matching

스테레오 매칭은 대규모 데이터셋에서 학습된 파운데이션 모델을 통해 발전해 왔으나, 이 패러다임은 확장성 병목 현상을 겪고 있습니다. 새로운 데이터를 통합하려면 비용이 많이 드는 통합 재학습이 필요하기 때문입니다. 모델 병합(model merging)은 소스 체크포인트(checkpoint)가 확보된 후 전문화된 모델들의 지식을 통합함으로써 확장 가능한 사후 대안을 제공합니다. 그러나 기존 병합 방법은 일반적으로 사용 가능한 모든 모델을 유지하거나 탐욕적 포함(greedy inclusion)에 의존하는데, 이는 유해한 작업 벡터(task vector) 간섭을 보존할 수 있습니다. 본 연구에서는 적응형 모델 병합을 위한 coarse-to-fine 진화적 프레임워크인 StereoFactory를 제안합니다. 1단계(Stage 1)에서는 유전 알고리즘을 사용하여 모델 부분 집합의 조합 공간을 탐색함으로써 참여할 모델을 결정합니다. 2단계(Stage 2)에서는 선택된 작업 벡터에 대한 아키텍처 적응형 라우팅(architecture-adaptive routing)의 CMA-ES 최적화와 선택적 모듈 수준 스케일링을 통해 모듈 수준 지식 전문화(서로 다른 기능 모듈이 지식 소스에 대해 뚜렷한 선호도를 나타내는 현상)를 해결합니다. 두 가지 아키텍처와 네 개의 벤치마크(benchmark)에 걸친 실험 결과, StereoFactory는 동일한 체크포인트 풀(pool) 하에서 가장 우수한 4개 벤치마크 평균 성능을 일관되게 달성했습니다. 가장 강력한 통제된 기준선(baseline) 대비 NMRF에서 평균 오차를 3.80에서 3.30으로, FoundationStereo에서 2.88에서 2.19로 감소시켰습니다. 이 사후 탐색 과정은 해당 통합 재학습에 소요되는 실제 시간(wall-clock time)의 단 2.7~3.7%만을 필요로 합니다. 분석 결과, 지식 기여는 본질적으로 모듈 특화적이며, 선택된 부분 집합은 아키텍처 간 전이 시 최소한의 성능 저하만을 보이는 것으로 나타났습니다. 코드는 논문 수락 후 다음 주소에서 공개될 예정입니다: https://github.com/XiandaGuo/StereoFactory.

arXiv:2511.05949v2cs.CV

도전적인 스테레오에서 포즈 추정 및 폴리곤 클라우드를 위한 사전학습 모델 기반 제로샷 폴리곤 매칭

Zero-Shot Polygon Matching with Pre-trained Models for Pose Estimation and Polygon Cloud from Challenging Stereo

스테레오 매칭은 0차원 점과 1차원 선 원시 요소(primitive)에 대해서는 성숙에 이르렀지만, 시차 불연속(disparity discontinuity), 스케일 변화, 학습 의존성, 낮은 일반화 등의 과제로 인해 2차원 폴리곤에 대한 대응 관계 설정은 대부분 미탐색 상태이며, 이는 포즈 추정 및 3D 재구성과 같은 하류 태스크를 제한한다. 이러한 문제를 해결하기 위해, 본 연구는 사전학습 모델을 활용한 제로샷 폴리곤 매칭(Z(PM)2) 패러다임을 최초로 제안한다. 이는 플러그앤플레이 모듈을 통해 학습된 특징과 수작업 기하 제약을 결합하여 매칭을 0차원/1차원 원시 요소에서 2차원 폴리곤으로 확장한다. 파이프라인은 세 가지 핵심 단계로 구성된다. 첫째, 검출기(detector)는 사전학습된 Segment Anything 모델을 활용하여 분할 마스크를 기하와 텍스처를 통합한 그래프 구조 폴리곤으로 벡터화한다. 둘째, 전역 매처(global matcher)는 양방향 피라미드(bidirectional-pyramid)와 다중 기하 제약을 사용하여 시점 변화를 처리한다. 셋째, 지역 매처(local matcher)는 지역-전체(local-holistic) 이분 그래프 최적화를 활용하여 시차 불연속과 위상 불일치를 해결한다. 또한, 대응 관계를 이용한 폴리곤 매칭 기반 포즈 추정을 개발하여 잘 분포되고 중복이 적은 동형 대응점(homologous points)을 얻으며, 최적 표면 생성 방법과 함께 폴리곤 클라우드 개념을 최초로 제시하여 점 클라우드와 선 클라우드를 넘어 구조적으로 완전하고 의미적으로 풍부한 3D 표현을 생성한다. 스테레오 영상에서의 폴리곤 매칭 방법이 직접 비교를 위해 이용 가능하지 않으므로, 본 태스크에 가까운 최신(SoTA) 방법을 베이스라인으로 선정했다. ISPRS, KITTI, ScanNet, SceneFlow, DTU의 다섯 가지 도전적 데이터셋에서의 광범위한 실험 결과, Z(PM)2는 68.60%의 매칭 영역 점수를 달성하여 MESA보다 약 32% 우수한 성능을 보였고, 영역 수준 포즈 추정에서 1위를 기록했으며, 학습 없이 강력한 제로샷 일반화와 경쟁력 있는 속도를 보였다.