이미지 정합(registration)과 융합(fusion)은 정렬되지 않은 다중 모달(multi-modal) 소스 이미지로부터 공간적 대응 관계를 설정하고 상보적인 정보를 통합하는 것을 목표로 한다. 그러나 실제 촬영 시나리오에서는 저조도, 노이즈 등 복잡하고 다양한 열화(degradation)의 영향을 소스 이미지가 받는 경우가 많아 정합과 융합의 효과를 심각하게 저해한다. 이 문제를 해결하기 위해 열화 인지 학습을 통한 상호 강화형 이미지 정합 및 융합 확산(diffusion) 프레임워크인 Diff-RF를 제안한다. 이 방법은 열화 조건 하에서 정합-융합과 정보 복원 사이의 내재적 결합을 탐구하여, 복잡한 열화 조건에서 정합되지 않은 이미지의 고품질 융합을 가능하게 한다. 먼저 모달 내(intra-modal) 복원 모듈은 각 모달리티 내부의 정보를 활용해 모달리티 특유의 열화를 완화하도록 설계되어, 정합을 위한 보다 신뢰할 수 있는 구조적 표현을 제공하고 이후 교차 모달(cross-modal) 융합을 촉진한다. 둘째, 정합과 융합 사이의 양방향 상호작용을 구축하는 교차 모달 확산 기반 정합 및 융합 모듈을 개발한다. 융합에서 도출된 시각적 단서와 대응 관계 기반 기하학적 조건을 확산 과정에 통합함으로써, 제안 프레임워크는 공간 정렬을 점진적으로 정제하고 교차 모달 상보 정보를 활용해 협력적 향상을 달성한다. 열화 인지 정보 복원과 정합 및 융합의 협력적 최적화를 독립적인 구성요소로 다루지 않고 긴밀히 결합하여 전반적인 성능 향상을 달성한다. 여러 확장 데이터셋에 대한 광범위한 실험 결과, Diff-RF는 다양한 열화 시나리오에서 우수한 정합 정확도와 융합 품질을 달성하며 강한 견고성(robustness)과 일반화(generalization) 능력을 보인다.
편광 이미지 융합은 전체 강도(total-intensity) 이미지 S0의 안정적인 휘도와 구조 정보와 선형 편광도(degree of linear polarization, DoLP) 이미지의 재질 민감 세부 정보를 결합한다. 그러나 DoLP의 신뢰도는 공간적으로 달라지며, 무분별한 편광 전이는 불안정한 반응을 증폭하거나 S0에 기반한 구조적 외관을 훼손할 수 있다. 이에 따라 우리는 편광 융합을 선택적 잔차 전이 과정으로 공식화하는 경량 신뢰도 기반 프레임워크인 LG-PF를 제안한다. Polarization Confidence Prior는 공간적으로 신뢰할 수 있는 편광 반응을 추정하고, Mask-guided Multi-scale Fusion 모듈은 세 가지 특징 스케일에 걸쳐 그 전이를 조절하며, Lightweight Context-aware Bounded Correction Head는 국소 광도측정(photometric) 및 구조적 전이를 안정화한다. 신뢰도 안내는 또한 최적화 목표에 통합되어 신뢰할 수 있는 편광 세부 정보를 보존하면서 근거 없는 반응을 억제한다. 또한 실내 및 실외 17개 장면 카테고리에서 1000개의 픽셀 정렬 이미지 쌍을 포함하는 다중 장면 편광 융합 데이터셋 MSP를 구축한다. LG-PF는 MSP에서 평가된 6개 지표 모두에서 최고 성능을 달성하며, PIF와 GAND에 대한 부분집합 기반 평가는 미세조정 없이 유망한 전이 가능성을 보여준다. 파라미터 0.2936 M, 이미지당 추론 시간 21.712 ms만으로 LG-PF는 낮은 연산 비용으로 경쟁력 있는 융합 품질을 달성한다. 소스 코드는 https://github.com/1hzf/LG-PF 에서 제공될 예정이다.
모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.
제어 가능한 적외선-가시광선 이미지 융합은 유연한 영역 인식 변조를 통해 상호 보완적인 열 및 구조 정보를 통합하여, 다양한 사용자 요구와 하류 작업에 적응하는 융합 이미지를 생성하는 것을 목표로 한다. 그러나 기존 방법들은 일반적으로 사전 정의된 이산 제어 조건에 의존하여, 세밀한 변조 요구를 지원하지 못하는 희소한 공간을 초래한다. 이를 해결하기 위해, 우리는 가우시안 조건 공간 인식 변조를 통해 연속 융합 공간을 학습하여 인스턴스 수준의 세밀한 제어 가능한 적외선 및 가시광선 이미지 융합을 가능하게 하는 새로운 프레임워크인 ConFusion을 제안한다. ConFusion은 공동 재구성 및 텍스트 유도 의미 정렬 하에서 모달리티 불변 및 모달리티 특이 표현을 분리하기 위해 이중 분기 아키텍처를 사용한다. 가우시안 조건 인스턴스 변조 변수는 Grounded SAM 기반 인스턴스 마스크와 결합되어 Mask-Guided Specific Feature Modulator를 통해 인스턴스 수준의 세밀한 변조를 유도하며, Text-Driven Invariant Feature Enhancer는 의미적 일관성을 개선하고 융합을 향상시킨다. 추론 시, 멀티모달 대규모 언어 모델은 사용자 의도를 인스턴스 수준 변조 변수로 파싱하여 이미지 융합을 유도한다. 광범위한 실험 결과, ConFusion은 세밀한 제어 가능한 이미지 융합을 지원하면서 융합 품질과 하류 작업 모두에서 여러 지표에 걸쳐 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/HeyufeiAnto/Confusion 에서 이용할 수 있다.
적외선 및 가시광선 영상 융합(IVIF)은 두 모달리티의 상보적 정보를 더 풍부한 장면 내용을 갖는 단일 영상으로 통합한다. 기존 방법은 대부분 모든 활성화에 대해 밀집적으로 연산하는 인공 신경망(ANN)을 기반으로 구축되어 있는 반면, 스파이킹 신경망(SNN)은 희소한 이진 스파이크를 통해 통신하며 스파이크가 발생하는 위치와 시점에서만 연산하여, 보다 에너지 효율적인 융합의 경로를 제공한다. 그러나 SNN을 IVIF에 직접 적용하면 근본적인 긴장이 발생한다: 교차 모달 융합은 두 모달리티의 세밀한 응답에 의존하는 반면, 이진 스파이크는 발화 임계값 이하에 남아 있는 상보적 단서를 버릴 수 있다. 막전위는 발화 전에 이러한 임계 이하 응답을 보존하여, 이 단계에서 통합될 때 두 모달리티가 공동으로 출력을 형성할 수 있게 한다. 이를 바탕으로, 우리는 막전위 수준에서 직접 교차 모달 융합을 수행하는 스파이킹 신경망인 CIS-Fuse를 제안한다. 핵심은 전류 주입 스파이킹(CIS) 연산자로, 한 모달리티를 다른 모달리티의 구동 뉴런에 게이트된 보조 전류로 주입하여 두 모달리티가 스파이크 발화 전에 통합되도록 하며, 채널별 학습 가능한 주입 강도가 변조 크기를 적응적으로 조절한다. CIS를 기반으로, 양방향 교차 모달 융합(BCMF) 모듈을 구성하고 비대칭적 쌓기 깊이를 갖는 이중 분기 아키텍처에 배치하여, 두 분기가 명확한 기능적 특화를 발달시킨다. 4개의 IVIF 벤치마크와 하류 탐지 및 분할에 대한 광범위한 실험 결과, CIS-Fuse는 스파이크 기반 연산의 에너지 효율성을 계승하면서 최신 ANN 기반 방법과 동등한 융합 품질을 달성하며, 유사한 크기의 ANN 기반 DCEvo 대비 추론 에너지가 대략 한 자릿수 낮음을 보여준다. 코드는 논문 발표 시 공개될 예정이다.
다중 소스 이미지 융합 시나리오에서 이질적인 입력들은 일반적으로 서로 다른 생성 메커니즘에 의해 구동되며, 여러 인과 시스템의 합성으로 볼 수 있다. 그러나 융합 과정에서 크로스-시스템 불일치(CSD, cross-system discrepancy)와 크로스-시스템 얽힘(CSE, cross-system entanglement)이 흔히 발생하며, 이는 분포 외(OOD) 예측 상황에서 심각한 성능 저하로 이어지는 경우가 많다. CSD 및 CSE 문제를 해결하기 위해, 우리는 가산적 인과 구성(ACC, additive causal construction) 프레임워크를 제안한다. 이 프레임워크는 두 가지 수준에서 정보 융합을 특성화한다: 첫째, 인과 그래프 전이 가능성(CGT, causal graph transferability)을 실현하기 위해 개입 일관성(intervention consistency)을 통해 여러 시스템 간에 공유되는 인과적 "앵커"를 확립하고, 둘째, 융합 과정을 인과 구성으로 형식화하며 불확실성 정량화를 통해 구성된 경로의 신뢰도를 모델링하여 인과 그래프 재구성 가능성(CGR, causal graph reconfigurability)을 보장한다. 이를 기반으로, 우리는 ACC를 적용하여 기존의 인과 표현 학습(CRL, causal representation learning)을 재검토하고, 프레임워크의 학습 가능한 구체화 방법으로서 ACC-CRL을 제안한다. 이 방법은 콘텐츠-메커니즘 분리(content-mechanism decoupling)를 통해 시스템 간 결합된 인과적 콘텐츠 표현을 탐색하고, 공유 앵커 하에서 반응 정렬(response alignment)을 수행하여 CSD를 완화한다. 또한, 구조적 불확실성을 통합하여 융합 과정을 적응적으로 조절함으로써 불안정한 CSE를 억제한다. 우리는 합성 데이터(ColorMNIST)와 실제 다중 기관 의료 영상 태스크인 미세혈관 침습(MVI, microvascular invasion) 예측에 대해 체계적인 실험을 수행하였다. 실험 결과는 제안된 방법이 분포 내(ID) 성능을 유지하면서 OOD 일반화를 크게 향상시킴을 보여주며, 개방형 환경에서 메커니즘 정렬과 불확실성 모델링에 기반한 ACC-CRL 전략의 효과성과 강건성을 검증한다.
과노출 환경에서 가시광 센서가 포화될 때 적외선 단서를 효과적으로 활용하지 못하는 기존 융합 방법의 한계를 해결하기 위해, 공간 안내 모듈과 멀티스케일 컨텍스트 융합 모듈을 갖춘 반복적 디코딩 헤드를 결합한 노출 인식 융합 프레임워크 EPOFusion을 제안한다. MSRS, FMB, 직접 구축한 IVOE 벤치마크 실험에서 최상의 경쟁 방법 대비 평균 상호 정보(MI) 이득 28.7%를 달성하며 포화 영역에서의 구조적 세부 정보 복원 효과를 입증했다.
악천후로 인한 영상 열화가 특징 표현과 교차 모달리티 상보성을 동시에 요구하는 다중 모달리티 영상 융합(MMIF) 문제를 해결하기 위해, Pseudo Ground Truth와 융합 결과-원본 영상 매핑 기반 마스크 생성, 마스크 기반 교차 모달리티 크로스 어텐션 및 열화 인식 학습 전략을 통합한 방법을 제안한다. 합성·실세계 데이터셋에서 시각적 품질, 정량 지표, 하위 작업 성능 모두에서 기존 최신 방법을 능가한다.
팬샤프닝은 저해상도 다중 스펙트럼(LRMS) 및 전천위(PAN) 관측치를 융합하여 고해상도 다중 스펙트럼(HRMS) 이미지를 생성하는 것을 목표로 합니다. 대부분의 기존 심층 학습 방법은 팬샤프닝을 고정 격자 예측으로 처리하여 스케일 적응 능력을 제한합니다. 이를 해결하기 위해, 우리는 팬샤프닝에 2D 가우시안 스플래팅(GS)을 도입하는 프레임워크인 GSPan을 제안합니다. GSPan은 픽셀을 직접 예측하는 대신, 밴드별 잔차 세부 정보를 연속적이고 학습 가능한 2D 가우시안 프리미티브로 표현합니다. 우리는 상보적인 PAN 및 MS 관측치로부터 이러한 프리미티브를 추정하기 위해 공간-스펙트럼 상호작용 어텐션(SSIA) 모듈을 갖춘 이중 스트림 계층형 상호작용(DSHI) 아키텍처를 설계했습니다. 예측된 프리미티브는 잔차 세부 정보 필드로 렌더링되어 업샘플링된 MS 이미지에 주입됩니다. 이러한 연속 표현을 통해 GSPan은 스케일별 재학습 없이 임의의 목표 샘플링 격자에서 융합된 이미지를 렌더링할 수 있습니다. 또한, 이는 축소된 해상도에서 프리미티브를 추정하고 목표 해상도에서 융합된 이미지를 렌더링하여 효율적인 대형 장면 팬샤프닝을 수행하는 스케일 분리 비대칭 추론(SDAI) 전략을 가능하게 합니다. QuickBird, GaoFen-2, WorldView-3, WorldView-3-4K 데이터셋에 대한 실험 결과, GSPan이 최첨단 융합 성능을 제공함을 보여줍니다. 더욱이, SDAI는 추론을 현저히 가속하여 계산 효율성과 융합 품질 사이의 유리한 상충 관계를 달성합니다. 우리의 결과는 연속 가우시안 잔차 표현이 고정 격자 예측에 대한 유연하고 스케일 분리된 대안으로서의 잠재력을 입증합니다.
다중 모달 이미지 융합은 서로 다른 모달리티의 상호 보완적 정보를 풍부한 국소적 디테일을 보존하면서 전역적으로 일관된 외관을 유지하는 융합 이미지로 통합하는 것을 목표로 합니다. 기존 접근 방식은 2D 특징 그리드(feature grids)에 공유 표현을 구축하는데, 이는 국소적 구조 모델링에는 탁월하지만 이미지 수준의 전역 외관 요인에 대한 활용도가 제한적입니다. 이러한 목표들의 균형을 맞추기 위해, 우리는 비국소적 외관/기저 요인을 모델링하기 위해 동결된 사전학습된 이미지 토크나이저를 기반으로 하는 컴팩트한 1D 토큰 인터페이스를 도입합니다. 토크나이저를 재구성 백본으로 사용하는 대신, 우리의 설계는 국소적 구조 복원을 위해 2D 공간 경로를 유지하면서 1D 토큰 공간을 전역 매개체로 사용합니다. 구체적으로, 우리는 선택적 토큰 편집(Selective Token Editing, STE)을 도입하여 소수의 중요한 토큰을 희소하게 업데이트하거나 교체함으로써, 융합 백본은 변경되지 않은 상태로 유지하고 추가 손실을 피하면서 전역 외관의 일관성을 조율하는 가벼운 메커니즘을 제공합니다. 4개의 널리 사용되는 벤치마크에 대한 실험 결과, 우리의 방법은 전역 일관성과 국소적 충실도 모두에서 일관되고 다중 지표적인 개선을 보이며 최상의 전반적인 성능을 달성함을 보여줍니다. 프로젝트 페이지: https://zju-xyc.github.io/1D-Fusion-Project-Page/
생성형 AI(GenAI) 이미지 편집기(예: Nano Banana)는 리터칭 작업에서 시각적으로 설득력 있는 결과를 생성하여, 비전문가도 텍스트 프롬프트만으로 이미지를 편집할 수 있게 한다. 그러나 이러한 모델의 생성적 특성은 종종 공간적 정렬 오차, 질감 왜곡, 콘텐츠 환각을 유발하며, 이는 모두 픽셀 수준의 충실도가 요구되는 하류 워크플로에 해롭다. 블랙박스 GenAI 이미지 리터칭에 대해 우리는 "구조 보존 GenAI 융합(structure-preserving GenAI fusion)"이라 부르는 문제 설정을 정의한다: GenAI 출력의 지각적 향상을 유지하면서 원본 입력 이미지에 대한 구조적 충실도를 강제한다. 이 문제를 해결하기 위해, 우리는 먼저 거친 공간적 및 광도적 대응을 확립한 다음 원하는 향상을 전달하면서 환각된 콘텐츠를 억제하는 융합 단계를 수행함으로써 입력 이미지와 GenAI 향상 버전을 융합하는 사후처리(post-processing) 프레임워크를 제안한다. 이 설정에서 직접적인 선행 연구가 부재하기 때문에, 우리는 사실적 스타일 전달(photorealistic style transfer) 및 이미지 융합(image fusion) 분야의 대표적인 방법들과 프레임워크를 비교 평가한다. 실험 결과, 제안 방법은 픽셀 수준의 구조적 일관성과 입력 해상도를 유지하면서 미적 품질을 더 잘 보존함을 보여준다.
본 논문은 대략적으로 겹치는 영역을 포함하는, 공간적으로 정합되지 않은 초분광 영상(HSI)과 다분광 영상(MSI) 한 쌍의 융합을 다룬다. HSI는 높은 스펙트럼 해상도와 낮은 공간 해상도를 제공하고, MSI는 그 반대를 제공한다. 목표는 상호 보완적인 정보를 통합하여 HSI의 공간 해상도와 MSI의 스펙트럼 해상도를 모두 향상시키는 것이다. 초분광-다분광 융합(HMF)은 널리 연구되어 왔지만, 비정합 설정은 여전히 어려운 과제로 남아 있다. 기존 방법 중 많은 것은 MSI 초해상화(super-resolution)에만 집중하여 HSI는 변경하지 않은 채로 둔다. HSI 초해상화를 위해 지도 심층 학습 접근법이 제안되었지만, 정확한 학습 데이터에 의존하며 이는 종종 이용할 수 없다. 더욱이 이론적 분석은 대체로 공동 정합(co-registered) 경우에 초점을 맞추어, 비정합 HMF에 대한 이해는 부족하다. 본 연구에서는 MSI와 HSI를 동시에 초해상화하는 비지도 프레임워크를 제안한다. 이 방법은 MSI 초해상화를 위한 결합 스펙트럼 분해(coupled spectral unmixing)와 HSI 초해상화를 위한 잠재 공간(latent-space) 적대적 학습을 통합한다. 합리적인 생성 모델(generative models) 하에서 초해상화된 MSI와 HSI의 복원 가능성(recoverability)에 대한 이론적 보장을 수립하였으며, 이는 우리가 아는 한 비정합 HMF에 대한 최초의 통찰이다. 이 접근법은 다양한 조건에서 준실(semi-real) 및 실(real) HSI-MSI 쌍에 대해 검증되었다.