Diff-RF: 열화 인지 학습을 통한 상호 강화 이미지 정합 및 융합
Diff-RF: Mutually Reinforced Image Registration and Fusion via Degradation-Aware Learning
이미지 정합(registration)과 융합(fusion)은 정렬되지 않은 다중 모달(multi-modal) 소스 이미지로부터 공간적 대응 관계를 설정하고 상보적인 정보를 통합하는 것을 목표로 한다. 그러나 실제 촬영 시나리오에서는 저조도, 노이즈 등 복잡하고 다양한 열화(degradation)의 영향을 소스 이미지가 받는 경우가 많아 정합과 융합의 효과를 심각하게 저해한다. 이 문제를 해결하기 위해 열화 인지 학습을 통한 상호 강화형 이미지 정합 및 융합 확산(diffusion) 프레임워크인 Diff-RF를 제안한다. 이 방법은 열화 조건 하에서 정합-융합과 정보 복원 사이의 내재적 결합을 탐구하여, 복잡한 열화 조건에서 정합되지 않은 이미지의 고품질 융합을 가능하게 한다. 먼저 모달 내(intra-modal) 복원 모듈은 각 모달리티 내부의 정보를 활용해 모달리티 특유의 열화를 완화하도록 설계되어, 정합을 위한 보다 신뢰할 수 있는 구조적 표현을 제공하고 이후 교차 모달(cross-modal) 융합을 촉진한다. 둘째, 정합과 융합 사이의 양방향 상호작용을 구축하는 교차 모달 확산 기반 정합 및 융합 모듈을 개발한다. 융합에서 도출된 시각적 단서와 대응 관계 기반 기하학적 조건을 확산 과정에 통합함으로써, 제안 프레임워크는 공간 정렬을 점진적으로 정제하고 교차 모달 상보 정보를 활용해 협력적 향상을 달성한다. 열화 인지 정보 복원과 정합 및 융합의 협력적 최적화를 독립적인 구성요소로 다루지 않고 긴밀히 결합하여 전반적인 성능 향상을 달성한다. 여러 확장 데이터셋에 대한 광범위한 실험 결과, Diff-RF는 다양한 열화 시나리오에서 우수한 정합 정확도와 융합 품질을 달성하며 강한 견고성(robustness)과 일반화(generalization) 능력을 보인다.