arXiv:2610.03167v1 cs.CV

교차 모달 평면 영상 정합을 위한 기하학 정렬 의미 매칭

Geometry-Aligned Semantic Matching for Cross-Modal Planar Image Registration

Zhiwei Wang, Defeng He, Yuxing Li, Meilu Zhu, Edmund Y. Lam

제출 2026-10-02

한국어 초록

교차 모달(cross-modal) 영상 매칭은 평면 정합을 위해 모달리티 전반에서 안정적이고 정확한 기하학적 대응 관계를 구축합니다. 기존의 의미론적 표현은 모달리티 간 일관성을 제공하지만, 의미적 유사성이 반드시 기하학적 대응 관계를 의미하지는 않습니다. 반면 미세한 CNN 특징(feature)은 정확한 국소적 세부 정보를 제공하지만 안정적인 미세 조정을 위한 전역적인 교차 모달 의미 가이던스가 부족합니다. 이러한 문제를 해결하기 위해, 먼저 기하학적으로 일관된 의미론적 표현을 구축한 다음 미세 국소화 과정에서 대응 관계 추정에 대한 지배적인 역할을 보존하는 CDPM을 제안합니다. 구체적으로, 기하학적으로 일관된 교차 모달 패치 쌍을 사용하여 DINOv3를 점진적으로 적응시킴으로써, 특징 유사성이 실제 교차 모달 공간 대응 관계를 더 잘 반영하도록 합니다. 그런 다음 DINO 중심 특징 피라미드(DINO-Centric Feature Pyramid)를 구성하여 다중 스케일 DINO 표현이 안정적인 교차 모달 대응 관계를 유지하도록 하는 동시에, 경량 CNN 브랜치가 정밀한 국소 미세 조정을 위한 보조 구조 세부 정보를 제공하도록 합니다. 세 가지 교차 모달 데이터셋(dataset)에 대한 광범위한 실험을 통해 CDPM의 우수한 성능을 입증합니다. VIS-IR에서 고밀도 매처인 RoMa와 비교했을 때, CDPM은 AUC@3/5/10/20을 각각 7.36, 13.40, 13.75, 10.42%포인트 향상시키고 mACE를 5.83픽셀에서 2.78픽셀로 감소시킵니다. 또한 45.6% 적은 FLOPs를 사용하면서도 모든 지표에서 RoMa v2를 능가합니다. 온라인 데모와 데이터셋이 제공되며, 코드는 프로젝트 페이지(https://warren-wzw.github.io/CDPM/)에 공개될 예정입니다.

원문 초록

Cross-modal image matching establishes stable and accurate geometric correspondences across modalities for planar registration. Existing semantic representations provide cross-modal consistency, but semantic similarity does not necessarily imply geometric correspondence. Meanwhile, fine-grained CNN features provide accurate local details but lack global cross-modal semantic guidance for stable refinement. To address these issues, we propose CDPM, which first establishes geometrically consistent semantic representations and then preserves their dominant role in correspondence estimation during fine-grained localization. Specifically, we progressively adapt DINOv3 using geometrically consistent cross-modal patch pairs, enabling feature similarity to better reflect true cross-modal spatial correspondences. We then construct a DINO-Centric Feature Pyramid, where multi-scale DINO representations maintain stable cross-modal correspondences, while a lightweight CNN branch provides auxiliary structural details for precise local refinement. Extensive experiments on three cross-modal datasets demonstrate the superior performance of CDPM. On VIS-IR, compared with the dense matcher RoMa, CDPM improves AUC@3/5/10/20 by 7.36, 13.40, 13.75, and 10.42 percentage points, respectively, and reduces mACE from 5.83 to 2.78 pixels. It also outperforms RoMa v2 across all metrics while requiring 45.6% fewer FLOPs. The online demo and dataset are available, and the code will be released on our project page at https://warren-wzw.github.io/CDPM/.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03167v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24560v1cs.CV공통 태그 Image Registration, feature matching

pCLE 모자이크 정합을 위한 변환 모델 평가

Evaluating Transformation Models for pCLE Mosaic Registration

공초점 레이저 내시현미경(Confocal Laser Endomicroscopy, CLE)은 실시간으로 세포 수준 해상도의 광학 생검(optical biopsy)을 제공하지만 시야(field of view)가 좁으며, 이미지 모자이킹(image mosaicing)을 통해 해부학적 맥락(anatomical context)을 제공하도록 시야를 확장할 수 있다. 라인별 획득(line-by-line acquisition), 프로브 움직임, 프로브-조직 상호작용으로 인해 프레임 정렬(frame alignment)은 일반적으로 정확도를 정량화하기 어려운 비선형 변환(non-linear transformation)을 필요로 한다: 유연한 변환 모델은 강도 특징(intensity feature)과 노이즈에 과적합될 수 있어, 정규화 상호상관(Normalized Cross-Correlation, NCC)과 같은 외형 기반(appearance-based) 지표는 실제 기하학적 정확도의 향상 없이도 개선될 수 있다. 이에 우리는 4명의 환자로부터 얻은 14개의 pCLE 시퀀스에 걸쳐 132개의 프레임 쌍으로 구성되고 랜드마크(landmark) 대응 관계가 수동으로 주석 처리된 데이터셋을 구축하여, 목표 정합 오차(Target Registration Error, TRE)가 NCC를 보완하는 기하학적으로 근거 있는 지표로 사용될 수 있도록 하였다. 우리는 이동(translation)부터 박판 스플라인(Thin Plate Spline, TPS)에 이르기까지 변환 모델의 자유도(degrees of freedom)를 점진적으로 늘렸을 때의 효과와, 고전적 방법(Shi-Tomasi, Lucas-Kanade)과 학습 기반 방법(SuperPoint, SuperGlue, LightGlue, LoFTR, RoMa)을 아우르는 여섯 가지 특징 매칭(feature-matching) 백엔드의 효과를 평가한다. 이동 모델과 강체(rigid) 모델은 조직 변형(tissue deformation) 상황에서 불충분한 것으로 나타났으며, 무작위 샘플링(random sampling)을 사용한 TPS가 평가된 구성들 중 랜드마크 기반 정렬에서 가장 우수한 성능을 달성하였다. 미세조정 없이 사용된 학습 기반 매처들 중에서는 RoMa만이 다른 방법들에 비해 견고하지만 다소 미미한 우위를 보였다. 시퀀스 수준에서는 쌍별(pairwise) 정합 품질이 최종 모자이크 품질을 신뢰성 있게 예측하지 못하는 것으로 나타나, 모자이크 품질은 쌍별 지표로부터 추론하기보다는 직접 평가되어야 한다.

arXiv:2607.10082v2cs.CV공통 태그 feature matching, cross-modal matching

이중 단계 증류를 통한 비제약 이벤트-이미지 특징 매칭의 레이블 없는 타겟 도메인 적응

Label-Free Target-Domain Adaptation for Unconstrained Event-Image Feature Matching via Dual-Stage Distillation

이벤트 데이터와 이미지 데이터 간의 픽셀 수준 대응 관계 구축은 다중 센서 시스템의 기본적인 과제입니다. 그러나 기존의 교차 모달 매칭 방법들은 매칭 레이블이나 엄격하게 정렬된 하드웨어에 대한 의존성으로 인해 크게 제한되며, 매칭 정답 데이터와 사전 센서 관계 정보가 모두 부재한 레이블 없는 비제약 실환경 시나리오에는 적용이 어렵습니다. 이를 해결하기 위해, 우리는 새로운 2단계 학습 패러다임을 제안합니다. 첫째, 대규모 데이터를 활용하여 레이블 비의존적 증류 사전학습을 수행하며, 분포 기반 손실과 대조 손실로 최적화 목표를 개선하여 높은 일반화 능력을 갖춘 표현을 학습합니다. 둘째, 레이블 없는 비제약 다운스트림 데이터를 처리하기 위해 에피폴라 가이드 자기 증류 프레임워크를 도입합니다. 일관성 검증을 활용하여 강인한 매칭을 선별하고 외부 에피폴라 사전 정보로부터 도출된 기하학적 신뢰도를 통합함으로써, 우리의 모델은 어떠한 지도 없이도 타겟 도메인에서 직접적으로 효과적인 자기 진화가 가능합니다. 또한, 서로 다른 내부 파라미터와 해상도를 가진 물리적으로 분리된 카메라를 특징으로 하는 TUM-VIE 기반의 엄격한 교차 모달 평가 벤치마크를 소개합니다. 광범위한 실험을 통해 우리가 제안한 방법이 MVSEC과 TUM-VIE 자세 추정 태스크 모두에서 최첨단 성능을 달성함을 입증합니다. 소스 코드와 벤치마크는 https://github.com/ZhonghuaYi/nexus2-official 에서 공개될 예정입니다.

arXiv:2411.09484v5cs.CV공통 태그 feature matching공식 코드 · Papers with Code

평면 기반 이미지 매칭 필터링 및 정제와 그 이상

Image Matching Filtering and Refinement by Planes and Beyond

이 논문은 일반적인 이미지 매칭 파이프라인에서 최신 필터링 및 정제 방법에 대한 일관되고 광범위한 평가를 제공한다. 이전 비교와 달리, 설계된 벤치마크는 카메라 내부 파라미터(camera intrinsics)를 알 수 없는 보다 일반적이고 현실적이며 실용적인 경우도 고려한다. 또한, 평면 제약(planar constraints)과 상호 상관(cross correlation)에 기반한 비딥(non-deep) 전통적 컴퓨터 비전(CV) 접근법을 결합한 새롭고 효과적인 전략을 제시한다. 실험 분석은 현재 응용 설계와 향후 연구 방향에 대한 여러 통찰을 제공한다. 특히, 적절한 평가 프로토콜의 선택은, 그렇지 않으면 평탄화되는 경향이 있는 비교 대상 솔루션들 간의 실질적 차이를 드러낸다. 또한, 제안된 전통적 알고리즘 접근법은 최근 딥러닝 기반 방법과 경쟁력이 있다. 딥러닝 기반 방법의 평가를 위해 전통적 컴퓨터 비전을 활용한 견고한 기준선을 제공하는 것 외에도, 이러한 지식은 딥러닝 기반 이미지 매칭 아키텍처를 개선하고 더 잘 이해하는 데 유용하다. 한편으로, 기하학 기반 필터링은 이상치가 존재할 때 이미 견고한 딥러닝 파이프라인을 저하시키지 않으면서 효과적이다. 다른 한편으로, 상호 상관 정제는 코너형 키포인트의 경우 유효하며, 딥러닝 파이프라인에서 부정확한 매칭을 기본적으로 바로 폐기하지 않고 유지·정제하여 장면의 더 나은 커버리지를 달성할 수 있게 한다.

arXiv:2503.23179v4eess.IV공통 태그 Image Registration공식 코드 · Papers with Code

OncoReg: 종양학적 챌린지를 위한 의료 영상 정합

OncoReg: Medical Image Registration for Oncological Challenges

현대 암 연구에서 생성되는 방대한 양의 의료 데이터는 환자 프라이버시와 관련된 문제로 인해 종종 활용되지 못합니다. OncoReg 챌린지는 환자 프라이버시를 보장하면서 더 일반화 가능한 AI 모델의 개발을 촉진하는 2단계 프레임워크를 통해 연구자들이 영상 정합 방법을 개발하고 검증할 수 있도록 하여 이 문제를 해결합니다. 1단계에서는 공개적으로 이용 가능한 데이터셋을 사용하고, 2단계에서는 보안된 병원 네트워크 내의 비공개 데이터셋에서 모델을 학습하는 데 중점을 둡니다. OncoReg는 Learn2Reg 챌린지가 확립한 기반을 바탕으로 구축되었으며, 방사선 치료에서 중재용 원뿔형 빔 컴퓨터 단층 촬영(CBCT)과 표준 계획용 팬빔 CT 영상의 정합을 통합합니다. 정확한 영상 정합은 종양학에서 매우 중요하며, 특히 영상 유도 방사선 치료(IGRT)에서의 동적 치료 조정에 있어서 건강한 조직에 대한 방사선 노출을 최소화하면서 종양을 효과적으로 표적화하기 위해 정밀한 정렬이 필요합니다. 이 연구는 OncoReg 챌린지의 배경이 되는 방법론과 데이터를 상세히 설명하고 대회 참가작과 결과에 대한 포괄적인 분석을 제공합니다. 연구 결과에 따르면 특징 추출이 이 정합 작업에서 핵심적인 역할을 한다는 것이 밝혀졌습니다. 이 챌린지에서 등장한 새로운 방법은 그 다재다능함을 입증했으며, 기존의 접근 방식은 최신 기술과 비슷한 성능을 계속해서 발휘하고 있습니다. 심층 학습과 고전적 접근 방식 모두 여전히 영상 정합에서 중요한 역할을 하며, 특히 특징 추출에서 방법들의 결합이 가장 효과적인 것으로 입증되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.