얼굴 영상 복원(FVR)은 열화된 입력으로부터 고충실도의 얼굴 영상을 복원하면서 프레임 간 정체성 및 의미적 일관성을 유지하는 것을 목표로 한다. 기존 방법들은 정체성 변화, 시점에 얽힌 가이던스, 지각적 사실성이라는 세 가지 핵심 과제를 동시에 해결하는 데 어려움을 겪는다. 이러한 문제를 해결하기 위해, 우리는 고품질 FVR을 위해 정체성(Identity), 기하학(Geometry), 생성 사전 정보(Generative Prior)를 통합 제어하는 구조화된 삼중 사전 정보 융합 프레임워크인 TIGER를 제안한다. 구체적으로, 먼저 피사체 식별 임베딩을 잠재 공간에 주입하여 정체성 사전 정보(Identity Prior)를 구축함으로써, 심각한 열화 상황에서도 피사체의 정체성을 효과적으로 고정한다. 다음으로, 동적 영상에 대한 시간적으로 일관된 구조적 가이던스를 제공하기 위해, TIGER는 2D 참조 단서를 분리된 3D 매개변수 공간으로 투영하여 기하학 사전 정보(Geometry Prior)를 구성하고, 교차 소스 매개변수 융합을 통해 기하학적 앵커를 생성한다. 또한, 사실성을 저해하지 않으면서 최대 효율을 달성하기 위해, 단일 단계 정류 흐름(one-step rectified flow)을 통해 영상 생성 모델의 생성 사전 정보(Generative Prior)를 활용한다. 아울러, 구조적 충실도, 텍스처 재구성, 분포 수준의 사실성을 단계적으로 정제하는 점진적 3단계 학습 최적화 전략을 설계하여 견고한 최적화를 보장한다. 강건한 학습과 표준화된 평가를 촉진하기 위해 대규모 FVR 데이터셋도 구축하였다. 광범위한 실험을 통해 TIGER가 정체성 충실도와 시간적 안정성 모두에서 최첨단 성능을 달성하며, 고품질의 효율적이고 정체성 일관된 FVR을 제공함을 입증한다. 프로젝트 페이지: https://yzhoulv.github.io/Tiger/.
Dense prediction is a fundamental requirement for many medical vision tasks such as medical image restoration, registration, and segmentation. The most popular vision model, Convolutional Neural Networks (CNNs), has reached bottlenecks due to the intrinsic locality of convolution operations. Recently, transformers have been widely adopted for dense prediction for their capability to capture long-range visual dependence. However, due to the high computational complexity and large memory consumption of self-attention operations, transformers are usually used at downsampled feature resolutions. Such usage cannot effectively leverage the tissue-level textural information available only at the full image resolution. This textural information is crucial for medical dense prediction as it can differentiate the subtle human anatomy in medical images. In this study, we hypothesize that Multi-layer Perceptrons (MLPs) are superior alternatives to transformers in medical dense prediction where tissue-level details dominate the performance, as MLPs enable long-range dependence at the full image resolution. To validate our hypothesis, we develop a full-resolution hierarchical MLP framework that uses MLPs beginning from the full image resolution. We evaluate this framework with various MLP blocks on a wide range of medical dense prediction tasks including restoration, registration, and segmentation. Extensive experiments on six public well-benchmarked datasets show that, by simply using MLPs at full resolution, our framework outperforms its CNN and transformer counterparts and achieves state-of-the-art performance on various medical dense prediction tasks.
임의 스케일 이미지 초해상도(ASISR)는 연속적인 업스케일링 배율 범위에서 저해상도 입력으로부터 고해상도 이미지를 재구성하는 것을 목표로 한다. 전통적인 픽셀 회귀 방식은 종종 과도하게 매끄러운 결과를 생성하여 사실적인 디테일이 부족하지만, 최근 확산 방법은 더 선명하고 사실적인 텍스처를 생성할 수 있다. 그러나 이러한 확산 기법은 구조적 환각 위험을 자주 유발한다. 이 문제를 해결하기 위해 우리는 충실도 및 지각 인식 지역 암시적 어텐션(FPLIA)을 제안한다. FPLIA는 확산 파이프라인에 충실도 지향 특징을 효과적으로 통합하여 ASISR에 대해 사실적이면서 충실한 재구성을 생성하는 프레임워크이다. 우리는 표현력을 향상시키기 위해 충실도 지향 및 지각 특징에 self-attention과 cross-attention을 모두 적용하는 충실도 및 지각 어텐션 모듈(FPAM)을 도입한다. 이들의 상호 보완성을 더욱 활용하기 위해 RGB 값 예측을 위해 가장 대표적인 특징을 적응적으로 선택하는 충실도 및 지각 선택 모듈(FPSM)을 설계한다. 우리는 이러한 구성 요소의 효과를 검증하기 위해 광범위한 실험을 수행한다. 정성적 및 정량적 결과 모두 FPLIA가 표준 ASISR 벤치마크에서 재구성 정확도를 유지하면서 우수한 지각적 사실성을 제공함을 보여준다. 소스 코드는 다음 저장소에서 이용할 수 있다: https://github.com/XUSean0118/FPLIA.
확산 사후 샘플링은 사전학습된 확산 사전과 측정 일관성 가이던스를 결합하여 역문제를 해결합니다. 그러나 전 대역 가이던스는 높은 노이즈 수준에서 신뢰할 수 없을 수 있으며, 이 경우 깨끗한 추정치에는 스코어 유발 오류가 포함되고 고주파 측정 방향은 식별이 어렵습니다. 우리는 사후 가이던스가 순간 확산 노이즈 수준에 따라 측정 주파수를 노출해야 한다고 주장합니다. 이 원칙을 기반으로, 우리는 현재 신뢰할 수 있는 주파수 대역을 강조하는 가능도(likelihood)를 가진 중간 사후 분포의 집합을 구성하고 점차 전 대역 일관성으로 돌아가는 사후 연속 프레임워크를 제안합니다. 우리는 확산 예측기, 주파수 제한 가능도 정제, 그리고 신뢰할 수 있는 거친 보정을 반영하고 식별이 어려운 세부 사항은 연기하는 Haar 영역 커밋 규칙을 결합한 안정화된 샘플러를 통해 이 프레임워크를 구체화합니다. 초해상도, 인페인팅, 디블러링 전반에서, 우리의 방법은 FFHQ 및 ImageNet 평가 시 강력한 베이스라인 대비 모션 디블러링에서 최대 5 dB PSNR 향상을 포함하여 최신 수준과 대등하거나 경쟁력 있는 복원 성능을 달성합니다.
암시적 신경 표현(Implicit Neural Representations, INRs)은 최근 인상적인 결과를 보여주었지만, 그 기본 용량, 암시적 편향, 스케일링 동작은 여전히 잘 이해되지 않고 있습니다. 우리는 다양한 유효 대역폭을 가진 2D 및 3D 실제 및 합성 신호와 토모그래피, 초해상도, 노이즈 제거를 포함한 과적합(overfitting) 및 일반화 작업 전반에 걸쳐 다양한 INRs의 성능을 조사합니다. 모델 크기와 신호 유형 및 대역폭에 따라 성능을 계층화하여, 서로 다른 INR 및 그리드 표현이 용량을 어떻게 할당하는지를 밝혀냅니다. 밀집 신호를 다루는 많은 작업에서, 보간이 적용된 간단한 정규화된 그리드는 동일한 파라미터 수를 가진 어떤 INR보다 더 빠르게 학습되며 더 높거나 대등한 품질로 도달함을 발견했습니다. 또한, 형태 윤곽과 같은 이진 신호 적합 작업과 같이 INRs가 그리드보다 우수한 성능을 보이는 제한적인 설정도 발견했습니다. 이는 향후 INRs의 개발과 활용을 가장 유리한 응용 분야로 유도하는 데 도움이 될 것입니다.
고정밀도 메쉬 자산의 기존 제작 워크플로우는 전문 3D 아티스트나 모델러가 수행하는 번거롭고 노동 집약적인 수동 조각 과정을 필요로 합니다. 최근 몇 년간 이미지나 텍스트 프롬프트로부터 그럴듯한 구조와 정교한 외관을 생성하는 AI 기반 3D 콘텐츠 생성 분야에서 괄목할 만한 발전이 있었습니다. 그러나 사실적인 표면 디테일을 합성하는 것은 여전히 큰 도전 과제이며, (이미지/텍스트-투-3D 생성이 아닌) 기존 저품질 3D 메쉬의 기하학적 충실도를 향상시키는 문제는 여전히 미해결 상태입니다. 본 논문에서는 주어진 거친 메쉬(coarse mesh)에 텍스처와 일관된 표면 디테일을 추가하는 3D 기하학 초해상도 파이프라인인 SuperCarver를 소개합니다. 우리는 먼저 원본 텍스처가 적용된 메쉬를 여러 시점에서 이미지 도메인으로 렌더링합니다. 디테일 향상을 위해 우리는 결정론적 사전(prior) 안내 노말 확산 모델을 구성했으며, 이 모델은 디테일이 부족한 것과 풍부한 것이 쌍을 이루는 노말 맵 렌더링으로 구성된 신중하게 선별된 데이터셋에서 파인튜닝되었습니다. 잠재적으로 불완전한 노말 맵 예측으로부터 메쉬 표면을 업데이트하기 위해, 변형 가능 거리 필드(deformable distance field)를 통한 노이즈 저항성 역 렌더링 방식을 설계했습니다. 실험 결과, 우리의 SuperCarver는 실제 텍스처 외관에 따라 사실적이고 표현력 있는 표면 디테일을 생성할 수 있음을 입증했습니다. 이는 기존 저품질 3D 자산을 업그레이드하고 고폴리(high-poly) 메쉬 조각 작업의 부담을 줄이는 강력한 도구가 될 수 있습니다.
시공간 역학의 고충실도 시뮬레이션은 계산 비용이 과도하여, 거친 입도의 입력으로부터 고해상도 데이터를 재구성할 수 있는 효율적인 초해상도 기술이 필요합니다. 전통적인 데이터 기반 방법은 종종 물리적 제약이 부족하며, 단순한 물리 정보 기반 학습은 불규칙한 공간 기하학적 구조와 복잡하게 진화하는 시간적 역학을 다루는 데 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 불규칙한 기하학적 구조에서의 시공간 초해상도를 위한 물리 기반 증강 Koopman 향상 그래프 합성곱 네트워크(P-K-GCN)를 제안합니다. 구체적으로, 거친 그래프(coarse graph)로부터 공간 의존성을 직접 추출하도록 연속적인 스플라인 기반 GCN을 먼저 설계하고, 시간적 진행이 선형화되는 압축된 잠재 공간으로 비선형 역학을 사영하기 위해 Koopman 연산자 이론을 통합했습니다. 둘째, 예측 충실도와 견고성을 높이기 위해 데이터 기반 재구성이 물리 법칙을 준수하도록 강제하는 물리 기반 손실(loss)을 통해 최적화 목적함수를 증강했습니다. 마지막으로, 엄밀한 이론적 분석을 제공하여 물리 증강과 Koopman 정규화(regularization)가 Rademacher 복잡도를 감소시키고 일반화 경계를 강화함으로써 수학적으로 초해상도 오차의 감소를 보장함을 입증했습니다. 본 프레임워크는 희소한 저해상도 측정값으로부터 3D 심장 기하학적 구조 전반에 걸쳐 공간적으로 고해상도인 심장 전기 역학을 재구성하는 작업에서 평가되었습니다. 수치 실험 결과, 제안하는 방법이 기준선(baseline) 모델 대비 우수한 정확도를 달성함을 확인했습니다.
팬샤프닝은 저해상도 다중 스펙트럼(LRMS) 및 전천위(PAN) 관측치를 융합하여 고해상도 다중 스펙트럼(HRMS) 이미지를 생성하는 것을 목표로 합니다. 대부분의 기존 심층 학습 방법은 팬샤프닝을 고정 격자 예측으로 처리하여 스케일 적응 능력을 제한합니다. 이를 해결하기 위해, 우리는 팬샤프닝에 2D 가우시안 스플래팅(GS)을 도입하는 프레임워크인 GSPan을 제안합니다. GSPan은 픽셀을 직접 예측하는 대신, 밴드별 잔차 세부 정보를 연속적이고 학습 가능한 2D 가우시안 프리미티브로 표현합니다. 우리는 상보적인 PAN 및 MS 관측치로부터 이러한 프리미티브를 추정하기 위해 공간-스펙트럼 상호작용 어텐션(SSIA) 모듈을 갖춘 이중 스트림 계층형 상호작용(DSHI) 아키텍처를 설계했습니다. 예측된 프리미티브는 잔차 세부 정보 필드로 렌더링되어 업샘플링된 MS 이미지에 주입됩니다. 이러한 연속 표현을 통해 GSPan은 스케일별 재학습 없이 임의의 목표 샘플링 격자에서 융합된 이미지를 렌더링할 수 있습니다. 또한, 이는 축소된 해상도에서 프리미티브를 추정하고 목표 해상도에서 융합된 이미지를 렌더링하여 효율적인 대형 장면 팬샤프닝을 수행하는 스케일 분리 비대칭 추론(SDAI) 전략을 가능하게 합니다. QuickBird, GaoFen-2, WorldView-3, WorldView-3-4K 데이터셋에 대한 실험 결과, GSPan이 최첨단 융합 성능을 제공함을 보여줍니다. 더욱이, SDAI는 추론을 현저히 가속하여 계산 효율성과 융합 품질 사이의 유리한 상충 관계를 달성합니다. 우리의 결과는 연속 가우시안 잔차 표현이 고정 격자 예측에 대한 유연하고 스케일 분리된 대안으로서의 잠재력을 입증합니다.
임의 스케일 초해상도(ASISR)는 여전히 스케일 간 분포 이동으로 인해 근본적인 제약이 있습니다. 추론 스케일이 학습 범위를 벗어나는 순간 노이즈, 블러, 아티팩트가 급격히 축적되기 때문입니다. 본 연구에서는 스케일 간 분포 전이 관점에서 이 문제를 재조명하고, 초고배율 확대를 인-분포(in-distribution) 스케일 전이의 연속으로 재정의하는 단순하면서도 매우 효율적인 순환 초해상도 프레임워크인 CASR를 제안합니다. 이 설계는 단일 모델만으로도 임의의 스케일에서 안정적인 추론을 보장합니다. CASR는 반복(iteration) 과정에서의 분포 드리프트와 패치 단위 확산 불일치라는 두 가지 주요 병목 현상을 해결합니다. 제안된 SSAM 모듈은 슈퍼픽셀 집계를 통해 구조적 분포를 정렬하여 오류 누적을 방지하고, SARM 모듈은 상관관계 기반 일관성을 강제하고 상관관계 정렬을 통해 자기 유사성 구조를 보존하여 고주파 텍스처를 복원합니다. 단일 모델만을 사용함에도 불구하고, 본 방법은 분포 드리프트를 획기적으로 줄이고 장거리 텍스처 일관성을 유지하며, 극한의 배율에서도 우수한 일반화 성능을 달성합니다.
이 논문은 CVPR 2025에서 개최되는 제10회 NTIRE 워크샵의 연계 경진대회 중 하나인 NTIRE 2025 이미지 초해상도($\times$4) 챌린지를 소개합니다. 이 챌린지의 목표는 $\times$4 배율의 바이큐빅 다운샘플링(bicubic downsampling)을 통해 생성된 저해상도(LR) 이미지로부터 고해상도(HR) 이미지를 복원하는 것입니다. 그 목적은 최첨단 SR 성능을 달성하는 효과적인 네트워크 설계 또는 솔루션을 개발하는 데 있습니다. 이미지 SR 연구의 이중적인 목표를 반영하기 위해 본 챌린지는 두 개의 하위 트랙으로 구성됩니다: (1) 픽셀 단위 정확도를 강조하고 PSNR을 기준으로 제출물을 순위 매기는 복원(restoration) 트랙, (2) 시각적 사실감에 초점을 맞추고 지각적 점수(perceptual score)로 결과를 순위 매기는 지각(perceptual) 트랙입니다. 총 286명의 참가자가 경진대회에 등록하였고, 25개 팀이 유효한 결과물을 제출했습니다. 본 보고서는 챌린지 설계, 데이터셋, 평가 프로토콜, 주요 결과 및 각 팀의 방법론을 요약합니다. 이 챌린지는 최첨단 기술을 발전시키고 이미지 초해상도 분야의 진전을 도모하는 벤치마크 역할을 합니다.
이 논문은 이미지 초해상도($\times$4)에 관한 NTIRE 2024 챌린지를 검토하고, 제안된 해결책과 도출된 결과를 조명합니다. 이 챌린지는 사전 정보를 활용하여 저해상도(LR) 입력으로부터 4배 확대된 대응하는 고해상도(HR) 이미지를 생성하는 과정을 포함합니다. LR 이미지는 바이큐빅 다운샘플링에 의한 열화에서 비롯됩니다. 이 챌린지의 목적은 연산 자원(예: 모델 크기 및 FLOPs)이나 학습 데이터에 대한 제약 없이 최고 수준의 초해상도(SR) 성능을 보여주는 설계나 솔루션을 도출하는 것입니다. 해당 챌린지 트랙은 DIV2K 테스트 데이터셋에서 PSNR 지표를 사용하여 성능을 평가합니다. 이번 대회에는 199명이 등록하였고, 그중 20개 팀이 유효한 결과물을 제출했습니다. 이러한 집단적 노력은 단일 이미지 초해상도의 성능 경계를 확장할 뿐만 아니라, 이 분야의 최신 동향에 대한 포괄적인 개요를 제공합니다.
이벤트 기반 비전(event-based vision)은 초고속 시간 해상도와 극한의 동적 범위를 포함한 독특한 특성으로 인해 점점 더 많은 주목을 받고 있다. 최근 연구들은 이를 비디오 초해상도(VSR)에 도입하여 광학 흐름 추정과 시간적 정렬을 향상시켜 왔다. 이와 달리, 본 논문은 VSR에서 이벤트 신호의 초점을 모션 정제에서 텍스처 향상으로 전환한다. 우리는 VSR에서 텍스처 향상에 특화된 최초의 이벤트 기반 프레임워크인 EvTexture++를 제안한다. 이 프레임워크는 이벤트의 고주파 시공간 세부 정보를 활용하여 텍스처 복원을 개선한다. EvTexture++는 맞춤형 텍스처 향상 브랜치와 함께, 텍스처 복원을 위해 고시간 해상도 이벤트 정보를 점진적으로 활용하는 반복적 텍스처 향상 모듈을 통합한다. 이를 통해 반복 과정 전반에 걸쳐 텍스처 영역을 점차적으로 정제하여 더욱 정확하고 세밀한 고해상도 출력을 생성한다. 프레임 내 텍스처 복원 외에도, 큰 모션은 특히 텍스처 영역에서 프레임 간 시간적 일관성을 저하시켜 텍스처 깜빡임(flickering)을 유발할 수 있다. 이를 완화하기 위해, 우리는 이벤트의 연속 시간 모션 단서를 추가로 활용하여 시간적 일관성을 강화하는 시간적 텍스처 정렬 모듈을 도입하며, 이 모듈은 정밀한 프레임 간 텍스처 정렬을 위한 이벤트 기반 텍스처 인식 광학 흐름을 추정한다. 나아가, EvTexture++는 기존 VSR 모델의 성능을 유연하게 향상시키는 플러그 앤 플레이(plug-and-play) 도구로 설계되었다. 다섯 개의 데이터셋에 대한 실험을 통해 EvTexture++가 최첨단(state-of-the-art) 성능을 달성함을 입증한다. 최신 VSR 모델에 통합했을 때 유의미한 성능 향상을 제공하며, 텍스처가 풍부한 Vid4 데이터셋에서 PSNR 기준 최대 1.55 dB의 향상을 달성한다. 코드: https://github.com/DachunKai/EvTexture.
지상 탄소 순환의 불확실성은 기후 예측의 주요 제약 요소로 남아 있으며, 이는 부분적으로 지구 시스템 모델에서 지표 표현 및 변동성에 영향을 미치는 불확실성에 기인합니다. 이러한 제약을 해결하기 위해, 우리는 주요 지표 변수의 고해상도 과거 재구성 및 미래 예측을 생성하는 데이터 기반 프레임워크인 AI4Land를 제시합니다. 이 프레임워크는 U-Net 아키텍처를 사용하는 2단계 접근 방식을 따릅니다. 본 연구의 초점인 첫 번째 단계에서는 저해상도 시나리오 데이터와 정지 지구물리학적 특징을 통합하여 연간 토지 이용 및 토지 피복을 재구성합니다. 계획된 두 번째 단계에서는 생성된 고해상도 맵을 사용하여 더 세밀한 시간 규모로 동적 생물물리학적 변수, 특히 엽면적 지수를 예측할 것입니다. 지구 관측 데이터로 학습된 모델들은 공간적으로 명시적이고 물리적으로 일관된 지표 패턴을 재현하도록 학습하며, 직접적인 관측이 부족한 기간으로 시간적 범위를 확장합니다. AI4Land는 MareNostrum5에서 개발 및 학습되었으며, 이는 GPU 가속 HPC 인프라가 전 지구적 규모의 기후 AI 파이프라인을 어떻게 가능하게 하는지를 보여줍니다. 최종 산출물은 Destination Earth 이니셔티브하에서 개발된 것과 같은 디지털 트윈 플랫폼과의 실시간 결합을 위해 설계된 오픈 소스 에뮬레이터 모음입니다. 이 작업은 사실적이고 진화하는 지표 조건을 요청 시 제공함으로써, 중요한 불확실성을 줄이고 차세대 기후 시뮬레이션의 예측력을 향상시키는 것을 목표로 합니다.
우리는 심각하게 언더샘플링된 래스터화된 입력으로부터 스트랜드 기반 헤어 G-버퍼(G-Buffer)를 재구성하는 경량의 실시간 방법을 제안합니다. 우리의 파이프라인은 먼저 신경망 공간 재구성과 시간적 누적을 적용하여 헤어 커버리지(coverage), 즉 픽셀 내 헤어의 분수적 가시성과 탄젠트(tangent)를 복원합니다. 그런 다음 탄젠트 유도 재구성 단계를 사용하여 위치를 완성하며, 이는 이후 물리 기반 지연 헤어 셰이딩에 사용됩니다. 우리는 정적 및 동적 시나리오 모두에서 곧은 머리, 웨이브, 애프로, 포니테일 스타일을 포함한 다양한 헤어스타일에 대해 우리의 방법을 평가합니다. 우리의 방법은 기존의 헤어 전용 디노이징 기술 및 DLSS와 FSR과 같은 일반적인 산업용 신경망 재구성 솔루션보다 더 높은 헤어 재구성 품질을 달성합니다.
체화 AI(Embodied AI)와 VR 애플리케이션에 대한 수요 증가로, 희소 입력으로부터 고품질 3D 실내 장면을 합성할 필요성이 부각되고 있다. 그러나 기존 접근법은 전역적 일관성을 유지하면서 크게 보이지 않는 영역의 방대한 결측 기하를 추론하는 데 어려움을 겪으며, 종종 국소적으로는 그럴듯하지만 전역적으로는 불일치하는 재구성을 생성한다. 우리는 명시적 3D Gaussian Splatting(3DGS)과 비디오 확산 모델의 시간적 일관성 사전(prior)을 결합하여 전체 360도 실내 환경을 재구성하는 프레임워크 Rein3D를 제안한다. 우리 접근법은 "복원-정제(restore-and-refine)" 패러다임을 따른다: 원점에서 시작하는 궤적을 따라 불완전한 파노라믹 비디오를 렌더링하는 방사형 탐험 전략을 사용하여, 거친 3DGS 초기화로부터 가려진 영역을 효과적으로 드러낸다. 이 시퀀스는 파노라믹 비디오-투-비디오 확산 모델로 복원되고, 비디오 초해상도(super-resolution)를 통해 추가로 향상되어 고충실도 기하와 텍스처를 합성한다. 마지막으로, 이렇게 정제된 비디오는 의사 정답(pseudo-ground truth)으로 작용하여 전역 3D Gaussian 필드를 갱신한다. 이 작업을 지원하기 위해, 확산 기반 장면 복원을 위한 15K개 이상의 깨끗한-열화 쌍 파노라믹 비디오 데이터셋 PanoV2V-15K를 구축한다. 실험 결과 Rein3D는 사실적인(photorealistic) 전역적으로 일관된 3D 장면을 생성하며, 기존 베이스라인 대비 장거리 카메라 탐험을 크게 개선함을 보여준다.
본 논문은 대략적으로 겹치는 영역을 포함하는, 공간적으로 정합되지 않은 초분광 영상(HSI)과 다분광 영상(MSI) 한 쌍의 융합을 다룬다. HSI는 높은 스펙트럼 해상도와 낮은 공간 해상도를 제공하고, MSI는 그 반대를 제공한다. 목표는 상호 보완적인 정보를 통합하여 HSI의 공간 해상도와 MSI의 스펙트럼 해상도를 모두 향상시키는 것이다. 초분광-다분광 융합(HMF)은 널리 연구되어 왔지만, 비정합 설정은 여전히 어려운 과제로 남아 있다. 기존 방법 중 많은 것은 MSI 초해상화(super-resolution)에만 집중하여 HSI는 변경하지 않은 채로 둔다. HSI 초해상화를 위해 지도 심층 학습 접근법이 제안되었지만, 정확한 학습 데이터에 의존하며 이는 종종 이용할 수 없다. 더욱이 이론적 분석은 대체로 공동 정합(co-registered) 경우에 초점을 맞추어, 비정합 HMF에 대한 이해는 부족하다. 본 연구에서는 MSI와 HSI를 동시에 초해상화하는 비지도 프레임워크를 제안한다. 이 방법은 MSI 초해상화를 위한 결합 스펙트럼 분해(coupled spectral unmixing)와 HSI 초해상화를 위한 잠재 공간(latent-space) 적대적 학습을 통합한다. 합리적인 생성 모델(generative models) 하에서 초해상화된 MSI와 HSI의 복원 가능성(recoverability)에 대한 이론적 보장을 수립하였으며, 이는 우리가 아는 한 비정합 HMF에 대한 최초의 통찰이다. 이 접근법은 다양한 조건에서 준실(semi-real) 및 실(real) HSI-MSI 쌍에 대해 검증되었다.