MAGIC: 비지도 스테레오 매칭을 위한 가시성 비대칭 기반 학습
MAGIC: Learning from Visibility Asymmetry for Unsupervised Stereo Matching
한국어 초록
가려진 영역(occluded regions)에서 시차(disparity)를 학습하는 것은 비지도 스테레오 매칭(unsupervised stereo matching)에서 여전히 어려운 과제로 남아 있습니다. 광도 지도(photometric supervision)는 이러한 영역에서 유효한 타깃 뷰 대응점(target-view correspondences)이 부족하며, 기존의 양안 자기 훈련(binocular self-training)에서는 교사(teacher)와 학생(student) 모델이 동일한 타깃 뷰를 공유하므로 가려짐 또한 동일하게 발생합니다. 지도가 가능한 경우라도 가려진 픽셀의 비율이 적어 학습(training)에 대한 기여도가 제한적입니다. 본 논문에서는 신뢰성 있고 효과적인 가려짐 지도를 위해 다중 기준선 기하학적 일관성 프레임워크인 MAGIC을 제안합니다. 교사와 학생 모델은 참조 이미지를 공유하지만 서로 다른 타깃 뷰를 사용하여, 교사 모델이 학생 모델에서 가려진 대응점을 관찰할 수 있도록 합니다. 기준선(baseline) 간 시차를 정렬한 후, MAGIC은 교사 모델에 보이는 영역의 예측값을 활용하여 학생 모델에서 가려진 영역을 지도합니다. 또한 가려짐 인식 가중치 전략을 통해 교사에게는 보이지만 학생에게는 가려진 픽셀에 대한 지도를 강화함으로써, 가려지지 않은 영역에 의해 학습 신호가 압도되는 것을 방지합니다. 아울러 다양한 장면, 날씨, 조명을 아우르는 합성 다중 기준선 스테레오 데이터셋(dataset)인 MBS20K를 소개합니다. MBS20K로 사전학습(pre-training)된 MAGIC은 가려진 영역의 이상치(outlier)를 일관되게 줄이며 실제 데이터셋으로 잘 일반화됩니다. KITTI에서 이 사전학습 모델은 이미 미세조정(fine-tuning)된 여러 비지도 방법들의 성능을 능가합니다. 표준 양안 쌍에 대해 이 모델을 미세조정하면 KITTI 2015 및 2012에서 최고 수준(state-of-the-art)의 비지도 성능을 달성합니다. 미세조정 중 합성된 다중 기준선 뷰를 포함하면 성능이 더욱 향상됩니다. 코드와 데이터셋은 논문 채택 시 공개될 예정입니다.
원문 초록
Learning disparity in occluded regions remains difficult for unsupervised stereo matching. Photometric supervision lacks valid target-view correspondences in these regions, while the teacher and student in conventional binocular self-training share the same target view and therefore the same occlusions. Even when supervision is available, the small proportion of occluded pixels limits their contribution to training. We propose MAGIC, a multi-baseline geometric consistency framework for reliable and effective occlusion supervision. The teacher and student share a reference image but use different target views, allowing the teacher to observe correspondences that are occluded from the student. After aligning disparities across baselines, MAGIC uses predictions from teacher-visible regions to supervise student-occluded regions. An occlusion-aware weighting strategy strengthens supervision on teacher-visible but student-occluded pixels, preventing their training signal from being overwhelmed by non-occluded regions. We also introduce MBS20K, a synthetic multi-baseline stereo dataset spanning diverse scenes, weather, and lighting. Pre-trained on MBS20K, MAGIC generalizes to real-world datasets with consistently fewer occluded-region outliers. On KITTI, the pre-trained model already outperforms several fine-tuned unsupervised methods. Fine-tuning this model on standard binocular pairs achieves state-of-the-art unsupervised performance on KITTI 2015 and 2012. Incorporating synthesized multi-baseline views during fine-tuning further improves performance. Our code and dataset will be released upon acceptance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Colon3R: 단안 대장내시경 영상 기반 크로스 도메인 3D 재구성
Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video
단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.
Deep Event Stereo Leveraged by Event-to-Image Translation
Revisiting Multi-View Stereo: A Sequence-to-Sequence Formulation
다중 뷰 이미지로부터 정확한 기하를 계산하는 것은 컴퓨터 비전(CV)의 근본적인 문제이다. 최근 feed-forward(FF) 모델은 3D 기하와 카메라 파라미터를 공동으로 추정하지만, 정답(ground-truth) 카메라 파라미터가 주어져도 재구성 모호성으로 인한 기하 왜곡을 일반적으로 겪는다. 본 논문에서는 알려진 카메라 파라미터를 갖는 다중 뷰 스테레오(MVS) 문제를 연구하고, 기존 MVS와 FF 방법을 잇는 새로운 접근법을 제안한다. MVS를 단일 기준 뷰에 대해서만 깊이를 예측하는 시퀀스-투-원(sequence-to-one) 매핑으로 두는 대신, FF 모델과 유사하게 모든 입력 뷰에 대한 기하를 공동으로 예측하는 시퀀스-투-시퀀스 과제로 재공식화한다. 카메라로 유도된 사전지식(prior)을 명시적으로 활용하는 두 구성 요소를 갖춘 전역 트랜스포머 기반 아키텍처를 도입한다: 카메라 파라미터를 이미지 패치 토큰에 주입하여 트랜스포머를 camera-aware하게 만드는 ray-map 임베딩(embedding), 그리고 기존의 뷰별 cost volume을 대체하여 모든 뷰에 걸쳐 3D 구조를 공동으로 포착하는 통합 전역 cost volume. 여러 공개 벤치마크에 대한 광범위한 실험 결과, 제안 방법은 MVS 및 FF 재구성 기준선을 모두 능가하는 최신(state-of-the-art) 성능을 달성함을 보여준다.
텍스처가 부족할 때 동적 포인트 필터링이 도움이 되는가? 합성 실내 장면에서의 ORB-SLAM2 프론트엔드 통제 연구
Does Dynamic-Point Filtering Help When Texture Is Scarce? A Controlled Study of ORB-SLAM2 Front-Ends in Synthetic Indoor Scenes
특징(feature) 기반 비주얼 SLAM에는 동적 포인트 필터가 일상적으로 추가되며, 최근 몇몇 시스템에서는 동적 특징을 제거하면 저텍스처 영역에 남는 정적 특징이 너무 적어질 수 있다고 주장합니다. 지금까지 이러한 시스템들은 텍스처가 풍부한 벤치마크 시퀀스에서만 평가되었습니다. 본 연구에서는 이러한 상호작용을 분리하여 분석하는 통제 연구를 제시합니다. 표면 텍스처(FAST 코너 밀도와 이미지 그래디언트(gradient) 엔트로피로 정량화된 4단계)와 장면 동역학(3단계)을 동일한 카메라 궤적을 따라 요인별로 변화시키고, 스테레오, RGB-D, 정답(ground-truth) 포즈 및 동적 마스크를 포함하는 합성 실내 시퀀스를 렌더링합니다. 이 그리드 상에서 필터링이 없는 ORB-SLAM2, 옵티컬 플로우 및 에피폴라 잔차 기반 필터(FLOW), 다중 뷰 깊이 일관성 필터(GEOM)를 비교하고, 5회 실행에 걸친 궤적 오차, 트래킹 완료도, 잔여 정적 특징을 보고합니다. 마스크를 통해 키포인트별 정답을 얻을 수 있으므로, 메커니즘 차원의 설명을 직접 검증할 수 있도록 각 필터의 동적 포인트 정밀도(precision)와 재현율(recall), 정적 특징 오제거율도 측정합니다. 본 연구는 새로운 필터를 제안하지는 않습니다. 24개 시퀀스에 걸친 720회의 실행 결과, 필터링은 주로 동역학이 가장 큰 조건에서 도움이 되었습니다. 그 이점은 텍스처에 따라 단조 감소하지 않았으나, 가장 낮은 텍스처 수준에서 필터링은 트래킹 완료도를 저하시켰으며, 정적 L3 장면에서는 ORB-SLAM2가 전혀 초기화되지 못했습니다. 가설과 달리, GEOM은 FLOW보다 더 많은 정적 키포인트를 제거했습니다(오제거율 중앙값: RGB-D에서 6.8% 대 1.5%, 스테레오에서 19.6% 대 1.5%). GEOM의 RGB-D상 이점은 동적 포인트 재현율을 따랐으며 스테레오 모드에서는 사라졌습니다. 데이터와 코드는 https://github.com/felixxxue/texture-dynamics-slam 에서 제공됩니다.
RIPE++: 포지티브 쌍만 활용한 강화학습 기반 특징점 학습
RIPE++: Reinforced Keypoint Learning from Positive Pairs Only
희소 특징점(sparse keypoint) 추출 및 매칭은 Structure-from-Motion(SfM), 시각적 SLAM(visual SLAM), 증강 현실(AR), 의료 영상 정합 등 기하학적 컴퓨터 비전의 핵심 과제를 뒷받침합니다. 그러나 강건한 지역 특징(local feature) 표현을 학습하려면 일반적으로 정확한 카메라 포즈나 깊이(depth) 지도 신호가 필요한데, 이는 실제 환경에서 얻기 어려운 경우가 많습니다. 최근 두 이미지가 동일한 장면을 보여주는지 여부의 정보만 필요로 하는 강화학습(RL)이 유망한 대안으로 떠올랐습니다. 하지만 RIPE와 같은 기존 강화학습 방식은 조잡한 이진 보상(binary reward)과 정교하게 구성된 네거티브 학습 쌍에 의존하므로, 학습 안정성과 기술자(descriptor)의 변별력이 제한됩니다. 본 논문에서는 강화학습 기반 특징점 학습을 재검토하고 기하학적 일관성 신호를 완전히 활용하는 보상을 제안하며, 네거티브 쌍과의 대조 없이 단일 포지티브 쌍만으로 보상과 페널티를 모두 도출합니다. 이러한 더 풍부한 신호는 포지티브 이미지 쌍만으로도 변별력 있는 검출기와 기술자를 학습하기에 충분한 지도 대조 신호를 제공하여, 극도로 제한된 지도 조건에서도 표현 학습을 가능하게 합니다. 나아가 LightGlue를 적용하여 동일한 강화학습 목표를 매칭 단계까지 확장할 수 있음을 보여주며, MegaDepth1500에서 AUC@5를 56.58에서 59.65로 향상시키고 시각적 중첩이 부분적으로 존재하는 이미지 쌍으로부터 전체 희소 매칭 파이프라인의 약지도 학습(weakly-supervised training)을 가능하게 합니다. 널리 사용되는 벤치마크에서 본 접근법을 검증하여 완전 지도 학습(fully-supervised) 방식과 비교해도 경쟁력 있는 결과를 입증합니다. 또한 카메라 포즈를 얻기 어렵고 표준 SfM 파이프라인이 흔히 실패하는 저텍스처 의료 비디오 시퀀스에서도 본 방법이 학습될 수 있음을 추가로 보여줍니다. 코드와 데이터는 https://github.com/fraunhoferhhi/RIPEpp 에서 제공됩니다.
SCOPE-4D: 내시경 4D 기하학 파운데이션 모델
SCOPE-4D: Endoscopic 4D Geometry Foundation Models
기하학적 이해는 내시경 내비게이션과 로봇 보조를 뒷받침하지만, 신뢰할 수 있는 내시경 기하학을 학습하는 것은 기하학적 주석의 부족과 카메라 움직임과 조직 변형 간의 모호성이라는 두 가지 과제에 직면해 있습니다. 본 논문에서는 단안 RGB 비디오로부터 단일 순전파(forward pass)만으로 카메라 파라미터, 조밀한 기하학, 3D 조직 궤적을 공동으로 예측하는 내시경 4D 기하학 파운데이션 모델인 SCOPE-4D를 제시합니다. 본 연구의 큐레이션 및 주석 파이프라인은 실제 및 합성 위장 내시경과 복강경을 아우르는 약 5,000개 클립 모음인 SCOPE-5K를 구축합니다. 이 컬렉션은 풍부한 기하학적 감독을 제공하며, 새롭게 수집된 팬텀 및 실제 대장 내시경 평가 세트를 포함합니다. SCOPE-5K에 대한 기하학 지도 미세조정(supervised fine-tuning)은 내시경 사전 지식(prior)을 학습하여 카메라 및 깊이 추정을 향상시킵니다. 공통-잔차 모션(Common--Residual Motion, CRM)은 공통 조직 움직임에 상대적인 국소 변형을 추가로 제약합니다. 기하학적 감독과 더불어, CRM 및 궤적 감독은 기하학 미세조정(fine-tuning) 단독 대비 카메라 및 깊이 추정을 더욱 향상시키는 동시에 조밀한 3D 조직 추적을 가능하게 합니다. 공개 벤치마크 및 새로 수집된 벤치마크에 대한 평가는 도메인 내 및 도메인 외 기하학에서의 강력한 성능, 우수한 3D 추적, 그리고 보다 안정적인 긴 시퀀스 대장 재구성을 입증합니다. 맹검 사용자 연구는 실제 임상 비디오에서 체감 재구성 품질을 추가로 뒷받침합니다. 이러한 결과는 공동 기하학 추정 및 조직 추적을 위한 대규모 내시경 감독과 모션 제약의 가치를 종합적으로 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.