arXiv:2303.15472

Learning Rotation-Equivariant Features for Visual Correspondence

Jongmin Lee, Byungjin Kim, SeungWook Kim, Minsu Cho

제출 2023-03-25

원문 초록

Extracting discriminative local features that are invariant to imaging variations is an integral part of establishing correspondences between images. In this work, we introduce a self-supervised learning framework to extract discriminative rotation-invariant descriptors using group-equivariant CNNs. Thanks to employing group-equivariant CNNs, our method effectively learns to obtain rotation-equivariant features and their orientations explicitly, without having to perform sophisticated data augmentations. The resultant features and their orientations are further processed by group aligning, a novel invariant mapping technique that shifts the group-equivariant features by their orientations along the group dimension. Our group aligning technique achieves rotation-invariance without any collapse of the group dimension and thus eschews loss of discriminability. The proposed method is trained end-to-end in a self-supervised manner, where we use an orientation alignment loss for the orientation estimation and a contrastive descriptor loss for robust local descriptors to geometric/photometric variations. Our method demonstrates state-of-the-art matching accuracy among existing rotation-invariant descriptors under varying rotation and also shows competitive results when transferred to the task of keypoint matching and camera pose estimation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15891v1cs.CV공통 태그 Self-Supervised Learning, Pose Estimation

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2610.03717v1cs.CV공통 태그 Self-Supervised Learning, Pose Estimation

적은 디코더가 더 나은 인코더를 만든다: 신규 시점 합성으로부터 기하학적 표현 학습

Less Decoder is More Encoder: Geometric Representation Learning from Novel View Synthesis

본 논문은 기하학적 표현 학습(geometric representation learning)에서 신규 시점 합성(Novel View Synthesis, NVS)의 역할을 살펴봅니다. 원론적으로 NVS는 3차원 장면 구조를 추론해야 하므로 전이 가능한 다중 시점 기하학적 표현을 가능하게 해야 합니다. 그러나 기존 인코더 기반 NVS 방법들은 저조한 표현 성능을 보입니다. 이는 지도 신호(supervisory signal)가 부족해서가 아니라 눈에 띄지 않는 구조적 선택 때문입니다. 즉, 장면 인코더의 표현 능력을 희석하는 공간적 표현력이 과도한 디코더(spatially expressive decoders)와 특징(feature) 학습을 저해하는 저수준 픽셀 공간 목표(low-level pixel-space targets) 때문입니다. 우리는 자세 조건부 로컬 디코더와 잠재 공간 재구성 목표를 통해 이 두 가지 문제를 모두 해결하는 자기지도(self-supervised) 인코더-디코더 트랜스포머(transformer)인 SNAP을 제시합니다. SNAP은 과제에 구애받지 않으며(task-agnostic), 특정 목적의 기하학 지도 학습 방법들과 대등한 성능을 보임을 증명합니다. 또한 SNAP은 시각적 위치 추정(visual localization), 자세 추정(pose estimation), 점 대응(point correspondence), 깊이 추정(depth estimation), 로봇 조작(robot manipulation)의 5가지 과제에서 자기지도 표현들과 경쟁력 있는 성능을 달성합니다. 특히 SNAP의 패치 특징은 더 적은 계산량과 데이터 예산에도 불구하고 대규모로 지도 학습된 모델에 근접하는 창발적(emergent) 시점 불변성을 나타냅니다. 표준 2D 표현이 무너지는 카메라 이동 상황에서도 SNAP은 훨씬 완만하게 성능이 저하되며, 이는 디코더의 표현력을 제한하는 것이 전이 가능한 기하학적 구조의 억제를 적극적으로 방지함을 드러냅니다. https://snap-nvs.github.io

arXiv:2609.23961v1cs.CV공통 태그 Self-Supervised Learning, Pose Estimation

Colon3R: 단안 대장내시경 영상 기반 크로스 도메인 3D 재구성

Colon3R: Cross-Domain 3D Reconstruction from Monocular Colonoscopic Video

단안 대장내시경 3D 재구성은 수술 로봇 대장내시경에 중요하지만, 낮은 텍스처, 정반사, 제한된 시야 중첩, 비강체 조직 운동 때문에 여전히 어렵다. 기존 다중 시점 3D 재구성 방법은 안정적인 대응(correspondence)과 근사 강체 가정에 의존하며, 이는 대장내시경에서 자주 위반된다. 기존 내시경 방법은 종종 도메인 특화 지도에 의존하지만, 기하학 기반 모델(geometry foundation model)을 임상 대장내시경에 적응시키기에는 in-vivo 라벨 데이터가 충분하지 않다. 본 연구는 사전학습된 VGGT 위에 구축한 크로스 도메인 반지도 학습 프레임워크 Colon3R을 제안한다. 라벨이 있는 phantom 및 시뮬레이션 데이터에서 결합된 카메라·깊이·pointmap 기하를, 목표 도메인 기하 주석 없이 라벨 없는 in-vivo 대장내시경으로 전이한다. phantom과 시뮬레이션 데이터만으로 학습하는 소스 전용 미세조정과 달리, Colon3R은 교사 모델에서 유도한 교차 시점 지도를 통해 라벨 없는 in-vivo 영상을 직접 활용한다. 제안한 계층적 준강체(quasi-rigid) 신뢰도는 시퀀스, 방향 쌍, 픽sel 수준에서 신뢰할 수 있는 지도를 선택하고, 소스 보존 적응(source-preserving adaptation)은 목표 도메인 적응 동안 학습된 결합 기하를 유지한다. 광범위한 실험에서 본 방법은 깊이, pointmap, 카메라 포즈 추정에서 최신 방법들보다 전반적으로 우수한 성능을 보인다. 실제 in-vivo 대장내시경에 대한 정성 비교는 임상 도메인 이동 하에서도 경쟁 방법 대비 훨씬 더 완전하고 기하적으로 일관된 재구성을 보여준다. 코드는 논문이 accept된 후 공개될 예정이다.

arXiv:2607.14228v1cs.CV공통 태그 Self-Supervised Learning, Pose Estimation

SeeSE3: 비전 특징에서 3D 공간의 창발

SeeSE3: Emergence of 3D Space in Vision Features

본 논문에서는 비전 파운데이션 모델이 3D 유클리드 공간의 본질적 성질을 반영하는 표현(representation)을 구성하는지 조사한다. 깊이나 법선(normal)과 같은 이미지 중심적 변수에 대한 회귀(regression)를 통해 비전 특징의 3D 인지도를 탐색(probe)했던 선행 연구와 달리, 우리는 시각 특징 공간의 구조와 유클리드 변환 $SE(3)$ 군(group) 사이의 관계를 조사한다. 위상(topological)적·기하(geometric)적 관점 모두에서 이 관계를 평가하는 탐색기(probe) 집합을 제안한다: 특징 이웃과 공간 위상(topology) 사이의 정렬(alignment)을 측정하는 상호 이웃(mutual neighborhood) 지표, 그리고 정적 장면에서 잠재 변위(latent displacement)로부터 카메라 운동(camera motion)의 기하(geometry)에 대한 선형 접근성(linear accessibility)을 검증하는 Poincaré Adapter. 올바르게 탐색하면, 원칙적으로 직접적인 3D 지도학습 또는 능동적 에이전시(active agency) 없이 학습된 자기지도(self-supervised) 비전 모델이 3차원 유클리드 공간과 놀랄 정도로 강하게 상관된 잠재 부공간(latent subspace)을 보유함을 보인다. 이 통찰을 바탕으로, 명시적 3D 재구성 없이 잠재 공간에서만 시각 주행거리 측정(visual odometry)과 위치 추정(localization)을 수행하는 "Latent-Space Navigation" 기법의 새로운 클래스를 제안한다.

arXiv:2607.14639v1cs.RO공통 태그 Self-Supervised Learning, Pose Estimation

Rectified Flow 기반 LiDAR 업샘플링을 통한 간편한 이미지-포인트 클라우드 정합

Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling

이미지-포인트 클라우드 정합(Image-to-Point Cloud Registration, I2P)은 지각 및 자율주행 시스템에서 카메라와 LiDAR를 통합하는 데 필수적이지만, 이미지와 포인트 클라우드 간의 모달리티 격차(modality gap)로 인해 높은 정확도와 강한 일반화를 동시에 달성하기 어렵다. 본 논문에서는 LiDAR를 이미징 센서로 취급하는 단순하면서도 효과적인 I2P 방법을 제안한다. 단일 희소 LiDAR 스캔으로부터 Conditional Rectified Flow를 이용해 밀집 LiDAR intensity 이미지를 생성하고, 사전학습된 특징(feature) 매처로 카메라 이미지와 매칭하며, PnP-RANSAC을 통해 6-DoF 상대 자세(relative pose)를 추정한다. 제안 모델은 자기지도(self-supervised) 이미지 완성(completion) 작업으로 사전학습(pre-training)되고 소량의 LiDAR 데이터로 파인튜닝(fine-tuning)되며, 이미지-포인트 클라우드 쌍이나 ground-truth 센서 자세가 필요하지 않아 다양한 LiDAR 및 카메라 구성으로 확장할 수 있다. R3LIVE 데이터셋에서의 실험 결과, 제안 방법은 평균 오차 4.89° / 1.63 m를 달성하여 기존 방법을 능가하며, 단일 정합(registration)을 약 0.68초 만에 완료한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.