얼굴 초해상도(face super-resolution)는 얼굴이 포함된 이미지의 해상도를 높여 더 세밀한 디테일을 추가하는 작업이다. 이는 다양한 컴퓨터 비전(CV) 응용 프로그램에서 널리 사용되며, 사용자가 수행되고 있음을 인식하지 못하는 경우도 많다. 그러나 이는 비적절 문제(ill-posed problem)이기 때문에 높은 충실도로 수행하기가 어렵다. 본 논문에서는 고해상도 참조 이미지를 활용하여 작업을 보조하는 참조 기반 얼굴 초해상도 솔루션을 제시한다. 우리는 널리 사용되는 변형 가능한 합성곱(deformable convolutions)보다 상당히 안정적인 공간 트랜스포머(spatial transformer) 기반의 정렬 모듈을 제안한다. 또한 참조 이미지에서 양질의 정보를 활용할 수 있을 때는 이를 취하고, 해당 정보가 없을 때는 기능을 억제하는 집계 함수(aggregation function)도 제시한다. 마지막으로, 상대적으로 더 작은 우리의 모델이 여러 데이터셋에서 최첨단(state-of-the-art) 결과를 달성할 수 있음을 보여준다. 소스 코드는 https://github.com/varun-jois/FSRST 에서 확인할 수 있다.
단일 이미지 초해상도(SISR)는 저해상도 입력으로부터 고품질 이미지를 복원한다. 최근 멀티모달 방법들이 지각적 품질을 향상시키고 있으나, 오류가 있는 사전 정보에 민감하고 비용이 많이 드는 어노테이션을 필요로 한다. 이러한 문제를 해결하기 위해, 우리는 효율적인 시맨틱 마이닝과 강인한 텍스트-이미지 융합을 위해 학습 가능한 프롬프트를 활용하는 멀티모달 SISR 프레임워크인 Simon-SR을 제안한다. 본 접근법은 대조적 프롬프트 학습(Contrastive Prompt Learning)과 프롬프트 기반 공간 적응적 정제(Prompt-Guided Spatially Adaptive Refinement)를 결합하여 멀티모달 정렬을 강화한다. 실험 결과, Simon-SR은 최신 기법들을 능가하여 PSNR에서 최대 0.50 dB, SSIM에서 0.0133, LPIPS에서 0.0695의 최대 성능 향상을 달성하였다. 코드는 추후 공개될 예정이다.
본 논문은 ICIP 2026 극한 실환경 번호판 초해상도(XLPSR) 그랜드 챌린지 출품작을 기술하며, 공개 검증 리더보드에서 wECR 9.73을 달성하였다. 본 시스템은 Hybrid Attention 트랜스포머 초해상도(HAT) 프론트엔드와 두 장면 텍스트 인식기(PARSeq-S 및 CLIP4STR-B)의 앙상블, 그리고 불확실한 위치에서 기권하는 신뢰도 가중 문자 투표 방식을 결합한다. XLPSR을 이미지 가독성에 의해 제한되는 인식 과제로 취급한다: SR 단계는 문자를 서브픽셀 영역에서 끌어올리기 위해 존재하며, 비대칭 채점 규칙(+2 / -1 / 0)을 기권을 통해 명시적으로 활용한다. 파이프라인은 RTX 3090에서 시퀀스당 1.7초(최대 2.7초, p99 2.4초)로 실행되어, 60초/시퀀스의 Docker 제한 시간을 크게 밑돈다.
실세계 정렬 불일치 데이터에 대한 크로스모달 초해상도(SR)는 레이블이 없는 저해상도(LR) 소스 이미지와 복잡한 공간적 정렬 불일치를 가진 고해상도(HR) 가이드 이미지만 사용 가능하기 때문에 매우 어려운 과제이다. 기존 방법들은 시뮬레이션 학습 데이터에 의존하거나, 크로스모달 의존성을 간과하는 차선책적 정렬 전략을 채택함으로써 실용적 성능이 제한된다. 이러한 문제를 해결하기 위해, 우리는 정렬 불일치 인식 특징 번역기(feature translator)와 콘텐츠 인식 참조 필터를 온라인으로 공동 최적화하는 자기지도 모델 RobSelf를 제안한다. 번역기는 약지도(weakly-supervised) 정렬 불일치 인식 번역을 통해 비지도 크로스모달 및 크로스해상도 정렬을 해결하여 정렬된 가이드 특징을 생성한다. 이 특징에 의해 안내된 필터는 소스에 대해 참조 기반 판별적 자기강화를 수행하여 고해상도 및 고충실도의 SR 예측을 가능하게 한다. 합성 데이터와 수집된 실세계 데이터에 대한 실험을 통해 RobSelf가 기존 자기지도 및 지도 학습 방법을 능가하는 최첨단 성능을 달성함을 입증한다. 또한, 기존 자기지도 방법 대비 최대 15.3배 빠른 우수한 효율성을 달성한다.
현대의 딥러닝 초해상도(SR) 기법은 기저 콘텐츠와 시청 환경에 무관하게 이미지와 영상을 처리한다. 그러나 인간 시각 시스템(HVS)의 이미지 세부 정보에 대한 민감도는 공간 주파수, 휘도, 색상, 대비, 움직임 등 기저 이미지 특성과, 주변 조명 및 디스플레이까지의 거리와 같은 시청 환경 요소에 따라 달라진다. 이러한 관찰은 시청자가 합성된 세부 정보를 인식하지 못하는 경우, 즉 세부 정보의 해상도가 인간 시각의 해상 능력을 초과하는 경우, 이미지·영상 업샘플링에 투입되는 연산 자원이 낭비될 수 있음을 시사한다. 이에 착안하여, 우리는 인간 시각에서 영감을 받은 아키텍처-비종속적 접근법을 제안한다. 이 접근법은 SR 기법을 제어하여 연산 복잡도를 제한하면서 시각적으로 최적의 결과를 제공한다. 핵심은 특정 이미지 세부 정보와 시청 환경에 대한 인간의 민감도에 따라 SR 방법을 동적·국소적으로 안내하는 명시적 인간 시각 처리 프레임워크(HVPF)이다. 우리는 네트워크 브랜칭과 결합된 프레임워크의 적용을 통해 SR 방법의 연산 효율을 향상시키는 것을 시연한다. 사용자 연구를 포함한 정량적·정성적 평가는 지각 품질을 희생하지 않으면서 FLOPS를 2배 이상 감소시키는 접근법의 효과를 입증한다.
당뇨병성 망막병증(DR) 병변 분할에서 입력 해상도를 높이면 미세혈관류 검출에는 유리하지만 출혈 분할 성능은 오히려 저하되는 반직관적 현상을 U-Net, UNet++, Vision Transformer, DeepLabV3+를 대상으로 실증적으로 규명하였다. 이를 해결하기 위해 1024×1024, 512×512, 256×256의 입력 피라미드를 공유 가중치 합성곱으로 병렬 처리한 뒤 UNet++ 백본에 융합하는 Multi-Resolution Feature Stem을 제안하여 DDR 데이터셋에서 해상도 트레이드오프를 효과적으로 극복하였다.
SwinIFS는 Swin Transformer 백본에 얼굴 랜드마크의 가우시안 히트맵을 결합한 8채널 입력을 활용해, 4× 및 8× 배율 모두에서 신원을 보존하는 얼굴 초해상도를 달성하는 프레임워크다. CelebA 벤치마크에서 기존 CNN·GAN·트랜스포머 기반 방법 대비 지각적 품질, 구조적 정확도, 신원 보존 측면에서 우수한 성능을 보였으며, 특히 대부분의 방법이 실패하는 8× 극단적 배율에서도 사실적인 재구성을 달성했다.
VQGAN으로 사전학습된 이산 특징 코드북(HR prior)을 활용해, 저해상도 이미지의 특징을 왜곡 없는 고해상도 대응 특징에 매칭하는 FeMaSR 프레임워크를 제안한다. 불안정한 GAN 학습이나 명시적 참조 이미지 없이도, 의미론적 정규화와 잔차 단축 연결을 통해 기존 방법 대비 더 사실적인 초고해상도 이미지를 생성함을 실험으로 검증했다.
딥러닝 기반 기후 다운스케일링에서 역사 데이터로 학습된 모델이 미래 기후 분포에 적용될 때 발생하는 시간적 OOD 문제를 해결하기 위해, 지도 학습 기반 고해상도 복원과 도메인 정렬을 결합한 시간적 도메인 적응 프레임워크를 제안한다. 미국 본토 일별 기온 다운스케일링 실험에서 제안 모델은 분포 변화가 클수록 더 큰 성능 향상을 보이며, 특히 고지대 및 지형이 복잡한 지역에서의 극단값 편향을 효과적으로 감소시켰다.
사전학습된 텍스트-투-비디오 확산 모델의 시간적 일관성 사전 지식을 활용하여 비디오 얼굴 복원(VFR)의 공간적 충실도와 시간적 일관성 균형 문제를 해결하는 FADRA 프레임워크를 제안한다. 경량 LoRA 어댑터와 LQ 픽셀 정렬 특징 융합 모듈, 플로우 매칭 각 단계에서 저품질 단서를 반복 재참조하는 반복 잔차 적응 헤드(RRAH), 그리고 인간 시각 시스템 기반의 주파수 인식 손실(FAL)을 결합하여 최신 방법 대비 정량·정성 평가 모두에서 우수한 얼굴 구조 복원 및 시간적 일관성을 달성했다.
MRI 초해상도(super-resolution)를 해상도-SNR 트레이드오프를 명시적으로 모델링하는 물리 인식 복원 문제로 재정의하고, 2D Gaussian Splatting을 MRI에 적용하여 동적 해상도 입력을 좌표 기반 렌더링으로 처리한다. 해부학적 구조 사전(prior), 물리 기반 신호 모델링(양성자 밀도 ρ 및 이완율 R₂ 예측), 메타 학습 기반 도메인 적응을 결합하여 동적 해상도 데이터셋과 FastMRI 벤치마크에서 최고 수준의 성능을 달성했다.
기존 잠재 확산 모델(LDM)이 메모리 제약으로 1K 미만 해상도에 제한되는 문제를 해결하기 위해, UltraDiffEdit는 다중 스케일 점진적 편집, 멀티 패치 인코딩, 글로벌-로컬 일관성 디노이징, 패치 기반 하이브리드 샘플링을 결합한 튜닝-프리(tuning-free) 이미지 편집 프레임워크를 제안한다. 추가 학습 없이 기존 사전학습된 LDM(SDXL, ControlNet 등)을 활용하여 단일 RTX 3090 GPU만으로 최대 8K 해상도의 실제 이미지 편집을 달성하며 경계 아티팩트와 의미론적 일관성 문제를 효과적으로 해결한다.
감시 환경의 저해상도 얼굴 이미지에서 신원 왜곡을 최소화한 초해상도(super-resolution)를 위해, 확산 모델(diffusion model) 기반의 FASR++는 참조 저해상도 이미지와 다수의 보조 저품질 이미지에서 추출한 특징을 Feature Combiner 모듈로 집약하여 고품질 얼굴 이미지를 생성한다. CelebA와 Quis-Campi 데이터셋에서 PSNR, SSIM, LPIPS 등 이미지 품질 지표와 1:1 검증 및 1:N 얼굴 인식 정확도 모두에서 최첨단(state-of-the-art) 성능을 달성하였다.
위성 이미지의 낮은 공간 해상도로 인해 인공강우 결정에 필요한 미세 구름 구조 포착이 어려운 문제를 해결하기 위해, 역 확산(inverse diffusion) 기반 2단계 초해상도(super-resolution) 프레임워크를 제안한다. 1단계는 실제 쌍 데이터로 센서 간 정렬을 학습하고, 2단계는 자기 지도 방식으로 고주파 구름 텍스처를 정제하여 SEVIRI→VIIRS, MSG→MTG 변환에서 기존 트랜스포머 및 확산 기반 베이스라인 대비 재구성 정확도와 지각적 품질 모두 향상된 성능을 달성했다.
자기공명영상(MRI) 자기장 강도 향상은 임상 진단과 고급 연구 모두에 있어 매우 중요한 가치를 지닌다. 그러나 기존 방법들은 제한된 피험자 집단을 사용하여 64mT→3T 또는 3T→7T 변환과 같이 특정 단독 향상 태스크에만 집중하는 경향이 있어, 서로 다른 자기장 강도에 내재된 공통 열화 패턴을 활용하지 못하고 모델 일반화를 크게 제한한다. 이러한 문제를 해결하기 위해 우리는 UniField를 제안한다. UniField는 공통 열화 특성을 활용하여 표현 학습을 상호 촉진하기 위해 다중 모달리티와 향상 태스크를 통합하는 통합 프레임워크이다. 구체적으로, 주요 기여는 세 가지이다. 첫째, MRI 데이터 희소성을 극복하고 연속적인 해부학적 구조를 포착하기 위해, UniField는 3D MRI 볼륨을 독립적인 2D 슬라이스로 처리하는 기존 방법에서 벗어난다. 대신, 사전학습된 3D 기반 모델을 활용하여 포괄적인 3D 체적 정보를 직접 이용함으로써 일반화되고 강건한 구조적 표현을 임베딩하여 향상 성능을 크게 끌어올린다. 또한, 고주파 세부 정보를 과도하게 평활화하는 경향이 있는 주류 흐름 매칭(flow-matching) 모델의 스펙트럼 바이어스를 완화하기 위해, 자기장의 물리적 메커니즘을 명시적으로 통합하여 자기장 인식 스펙트럼 보정 메커니즘(FASRM, Field-Aware Spectral Rectification Mechanism)을 도입하고, 각 자기장 강도에 맞춤화된 스펙트럼 보정을 적용한다. 마지막으로, 근본적인 데이터 병목 문제를 해결하기 위해, 기존 데이터셋보다 약 한 자릿수 규모가 더 큰 포괄적인 쌍으로 구성된 다중 자기장 MRI 데이터셋을 구성하여 공개 배포한다. 광범위한 실험을 통해 우리 방법이 최신 기법 대비 우월함을 입증하며, PSNR에서 평균 약 1.81 dB, SSIM에서 9.47% 향상을 달성하였다. 코드와 데이터셋은 https://github.com/linyiyang98/UniField 에서 공개되어 있다.
무아레 패턴을 고주파 텍스처와 저주파 색상 왜곡으로 분리하는 주파수 분해 전략을 기반으로, Freqformer는 이중 분기 트랜스포머 아키텍처와 학습 가능한 FCT 모듈, 공간 인식 채널 어텐션(SA-CA) 모듈을 결합하여 이미지 무아레 제거 문제를 해결한다. 다양한 벤치마크 실험에서 소형 모델 크기로 최첨단 성능을 달성함을 입증하였다.
ConvCNP(합성곱 조건부 신경 프로세스)를 활용해 ERA5-Land의 약 11km 해상도 일 최고기온 데이터를 스위스 전역에서 약 1km 해상도로 통계적 다운스케일링하는 방법을 연구하며, 고해상도 지형 특징(swisstopo DHM25)을 결합한 최적 모델이 쌍선형 보간 대비 CRPS 스킬 점수 0.524, 평균 절대 오차 1.31°C를 달성해 예측 오차를 절반 이상 감소시켰다. 에이블레이션 실험에서 고도 MLP가 필수 구성 요소임이 확인되었고, 격자 외 관측소 데이터에 대한 제로샷 적용과 불확실성 보정 과신은 실용 배포를 위해 해결해야 할 핵심 과제로 지적되었다.
브라운 브리지 확산 모델(BBDM)의 스케줄 설계에 원칙적 분석 프레임워크가 부재했던 문제를 해결하기 위해, 가우시안 혼합(MoG) 사전 분포 하에서 BBDM 역방향 동역학을 분석하여 닫힌 형식의 이상적 사후 분포와 MMSE 디노이저를 도출했다. 이를 기반으로 지각적 품질을 목표로 하는 Wasserstein 기준과 재구성 충실도를 목표로 하는 MSE 기준이라는 두 가지 스케줄 설계 목적 함수를 수립하고, FFHQ 데이터셋의 인페인팅·디블러링·초해상도 태스크에서 해당 기준의 실용적 가치를 검증했다.
전역 기상 기반 모델(Aurora)의 잠재 공간에서 직접 동작하는 경량 다중 스케일 예측 헤드를 추가하여, 백본 재학습 없이 0.25°→0.025°의 100배 해상도 향상을 달성하는 지역 날씨 다운스케일링 프레임워크를 제안한다. 수치기상예측(NWP) 대비 대부분의 지표에서 높은 정확도를 훨씬 낮은 계산 비용으로 달성하며, 이미지 기반 초해상도 방식보다 우수한 다운스케일링 성능을 보인다.
현대 스마트폰은 정지 이미지를 전후로 짧은 동영상 버스트를 함께 촬영하는 라이브 포토(Live Photos)를 제공하여 역동적이고 몰입감 있는 사진 경험을 선사한다. 그러나 커버 사진과 동영상 구성 요소는 서로 다른 두 개의 이미징 파이프라인으로 생성된다. 사진 스트림은 완전한 컴퓨테이셔널 포토그래피 처리를 거치는 반면, 동영상 스트림은 실시간 효율성 요구와 높은 압축률의 제약을 받는다. 이러한 본질적인 분리로 인해 커버 사진과 동영상 프레임 간에 해상도, 색상 재현성, 다이나믹 레인지 측면에서 상당한 품질 격차가 발생한다. 사용자가 불완전한 커버를 대체하기 위해 동영상에서 다른 프레임을 재선택할 경우, 선택된 프레임은 심각한 화질 저하를 겪는 경우가 많아 직접 교체 시 시각적으로 만족스럽지 못한 결과를 초래한다. 이러한 프레임을 복원하려면 공간적 세부 정보와 색상 외관을 동시에 향상시켜야 하며, 이는 일반적인 초해상도(super-resolution)나 색상 향상보다 훨씬 어려운 과제이다. 이를 해결하기 위해 우리는 라이브 포토 커버 프레임 재선택 및 향상(LPRE, Live Photo Cover Frame Reselection and Enhancement) 태스크를 정의한다. 이 태스크는 각 라이브 포토 내에 내재된 단서를 활용한다. 즉, 구조적·색상 참조로서 고품질 커버 이미지, 복원 대상으로서 사용자가 재선택한 저품질 프레임, 그리고 시간적 단서를 제공하는 인접 동영상 프레임들을 활용한다. 이 공식화를 바탕으로 실세계 라이브 포토 2,042장으로 구성된 데이터셋 Live2K를 구축하고, 멀티 프레임 융합, 가이드 기반 색상 향상 및 초해상도를 통합하는 통합 단일 단계 기준선(baseline)을 개발하여 라이브 포토 화질 향상 연구를 위한 최초의 벤치마크를 수립한다.