Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity
원문 초록
Automatic registration of multimodal remote sensing data (e.g., optical, LiDAR, SAR) is a challenging task due to the significant non-linear radiometric differences between these data. To address this problem, this paper proposes a novel feature descriptor named the Histogram of Orientated Phase Congruency (HOPC), which is based on the structural properties of images. Furthermore, a similarity metric named HOPCncc is defined, which uses the normalized correlation coefficient (NCC) of the HOPC descriptors for multimodal registration. In the definition of the proposed similarity metric, we first extend the phase congruency model to generate its orientation representation, and use the extended model to build HOPCncc. Then a fast template matching scheme for this metric is designed to detect the control points between images. The proposed HOPCncc aims to capture the structural similarity between images, and has been tested with a variety of optical, LiDAR, SAR and map data. The results show that HOPCncc is robust against complex non-linear radiometric differences and outperforms the state-of-the-art similarities metrics (i.e., NCC and mutual information) in matching performance. Moreover, a robust registration method is also proposed in this paper based on HOPCncc, which is evaluated using six pairs of multimodal remote sensing images. The experimental results demonstrate the effectiveness of the proposed method for multimodal image registration.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Quantifying the Resolution of a Template after Image Registration
A Counterexample in Cross-Correlation Template Matching
평면 기반 이미지 매칭 필터링 및 정제와 그 이상
Image Matching Filtering and Refinement by Planes and Beyond
이 논문은 일반적인 이미지 매칭 파이프라인에서 최신 필터링 및 정제 방법에 대한 일관되고 광범위한 평가를 제공한다. 이전 비교와 달리, 설계된 벤치마크는 카메라 내부 파라미터(camera intrinsics)를 알 수 없는 보다 일반적이고 현실적이며 실용적인 경우도 고려한다. 또한, 평면 제약(planar constraints)과 상호 상관(cross correlation)에 기반한 비딥(non-deep) 전통적 컴퓨터 비전(CV) 접근법을 결합한 새롭고 효과적인 전략을 제시한다. 실험 분석은 현재 응용 설계와 향후 연구 방향에 대한 여러 통찰을 제공한다. 특히, 적절한 평가 프로토콜의 선택은, 그렇지 않으면 평탄화되는 경향이 있는 비교 대상 솔루션들 간의 실질적 차이를 드러낸다. 또한, 제안된 전통적 알고리즘 접근법은 최근 딥러닝 기반 방법과 경쟁력이 있다. 딥러닝 기반 방법의 평가를 위해 전통적 컴퓨터 비전을 활용한 견고한 기준선을 제공하는 것 외에도, 이러한 지식은 딥러닝 기반 이미지 매칭 아키텍처를 개선하고 더 잘 이해하는 데 유용하다. 한편으로, 기하학 기반 필터링은 이상치가 존재할 때 이미 견고한 딥러닝 파이프라인을 저하시키지 않으면서 효과적이다. 다른 한편으로, 상호 상관 정제는 코너형 키포인트의 경우 유효하며, 딥러닝 파이프라인에서 부정확한 매칭을 기본적으로 바로 폐기하지 않고 유지·정제하여 장면의 더 나은 커버리지를 달성할 수 있게 한다.
OncoReg: 종양학적 챌린지를 위한 의료 영상 정합
OncoReg: Medical Image Registration for Oncological Challenges
현대 암 연구에서 생성되는 방대한 양의 의료 데이터는 환자 프라이버시와 관련된 문제로 인해 종종 활용되지 못합니다. OncoReg 챌린지는 환자 프라이버시를 보장하면서 더 일반화 가능한 AI 모델의 개발을 촉진하는 2단계 프레임워크를 통해 연구자들이 영상 정합 방법을 개발하고 검증할 수 있도록 하여 이 문제를 해결합니다. 1단계에서는 공개적으로 이용 가능한 데이터셋을 사용하고, 2단계에서는 보안된 병원 네트워크 내의 비공개 데이터셋에서 모델을 학습하는 데 중점을 둡니다. OncoReg는 Learn2Reg 챌린지가 확립한 기반을 바탕으로 구축되었으며, 방사선 치료에서 중재용 원뿔형 빔 컴퓨터 단층 촬영(CBCT)과 표준 계획용 팬빔 CT 영상의 정합을 통합합니다. 정확한 영상 정합은 종양학에서 매우 중요하며, 특히 영상 유도 방사선 치료(IGRT)에서의 동적 치료 조정에 있어서 건강한 조직에 대한 방사선 노출을 최소화하면서 종양을 효과적으로 표적화하기 위해 정밀한 정렬이 필요합니다. 이 연구는 OncoReg 챌린지의 배경이 되는 방법론과 데이터를 상세히 설명하고 대회 참가작과 결과에 대한 포괄적인 분석을 제공합니다. 연구 결과에 따르면 특징 추출이 이 정합 작업에서 핵심적인 역할을 한다는 것이 밝혀졌습니다. 이 챌린지에서 등장한 새로운 방법은 그 다재다능함을 입증했으며, 기존의 접근 방식은 최신 기술과 비슷한 성능을 계속해서 발휘하고 있습니다. 심층 학습과 고전적 접근 방식 모두 여전히 영상 정합에서 중요한 역할을 하며, 특히 특징 추출에서 방법들의 결합이 가장 효과적인 것으로 입증되었습니다.
Are Vision Foundation Models Ready for Out-of-the-Box Medical Image Registration?
R1-Track: Direct Application of MLLMs to Visual Object Tracking via Reinforcement Learning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.