초저자기장(ULF) MRI는 휴대 가능하고 접근성이 높은 신경영상을 제공하지만, 고자기장(HF) 시스템에 비해 신호 대 잡음비가 낮고 공간 해상도가 제한적이라는 단점이 있다. 지도 학습 기반 개선을 위한 ULF-HF 쌍 데이터 확보는 특히 자원이 제한된 환경에서 흔히 어렵다. 본 논문은 다음 두 가지를 결합한 프레임워크인 ULF-Synth를 제안한다: (i) HF 볼륨으로부터 현실적인 ULF 영상을 획득 기반으로 합성하여 대규모 쌍 학습 데이터를 생성하고, (ii) 고주파 해부학적 세부 정보의 복원을 우선시하는 공간-주파수 도메인 목적 함수를 사용한다. 이 정식화는 아키텍처에 구애받지 않으며, 인코더-디코더, 적대적(adversarial), 확산 기반(diffusion-based) 변환 모델 전반에서 구조적 유사도와 지각적 충실도를 일관되게 향상시킨다. 합성 데이터만으로 학습된 결과 모델은 실제 64mT ULF 획득 데이터에 효과적으로 일반화되며, 후속 다중 클래스 뇌 분할(segmentation) 성능을 개선하고, 블라인드 평가자 연구에서 더 높은 영상의학과 전문의 선호도와 진단적 수용성을 달성한다. 이러한 결과는 합성 쌍 지도(supervision)가 실제 쌍 데이터 획득 없이도 ULF MRI를 개선할 수 있는 실용적이고 확장 가능한 방법을 제공함을 보여준다. 코드, 모델, 데이터셋: https://github.com/toufiqmusah/ULF-Synth
이미지 초해상도(SR)는 센서의 근본적인 하드웨어 한계를 극복하기 위한 핵심 기술이다. 그러나 기존 접근법들은 주로 최종 해상도를 직접적으로 향상시키는 데 초점을 맞추고 있어, 중간 단계에서 발생하는 오차의 전파와 누적에 대한 효과적인 제어를 간과하는 경우가 많다. 최근 맘바(Mamba)는 전체 복원 과정을 다수의 노드를 가진 상태 시퀀스(state sequence)로 표현함으로써 중간 개입을 가능하게 하는 유망한 접근법으로 부상하였다. 그럼에도 불구하고, 맘바의 고정된 선형 매퍼(linear mapper)는 좁은 수용 영역(receptive field)과 제한된 유연성으로 인해 세밀한 이미지에서의 효과가 저해된다는 한계가 있다. 이를 해결하기 위해, 우리는 연속적인 스펙트럼 밴드를 잠재 상태 공간(latent state space)으로 매핑하고, 제어 방정식의 비선형 상태 파라미터를 동적으로 학습함으로써 SR 과제를 일반화하는 비선형 상태 예측 제어 모델인 MambaX를 구축하였다. 기존의 시퀀스 모델들과 비교하여, MambaX는 1) 동적 상태 예측 제어 학습을 사용하여 상태 공간 모델(state-space model)의 비선형 미분 계수를 근사하고, 2) 다중 모달(multimodal) SR 융합을 위한 새로운 상태 교차 제어(state cross-control) 패러다임을 도입하며, 3) 점진적 전이 학습(progressive transitional learning)을 활용하여 도메인 및 모달리티 변화(shift)로 인한 이질성을 완화한다. 우리의 평가는 단일 이미지 SR과 다중 모달 융합 기반 SR 과제 모두에서 동적 스펙트럼-상태 표현 모델의 우수한 성능을 보여주며, 임의의 차원과 모달리티에 걸쳐 스펙트럼적으로 일반화된 모델링을 발전시킬 수 있는 상당한 잠재력을 강조한다.
본 논문은 미시적 스케일에서 기가픽셀(gigapixel) 이미지 합성을 위한 생성 프레임워크인 MicroZoom을 소개한다. 일반 사진과 소수의 소비자급 현미경 근접 촬영이 주어지면, MicroZoom은 실제 참조의 재질 특성에 그라운딩(grounding)된 매끄러운 기가픽셀 해상도 이미지를 합성하여, 객체 전체 공간 범위에 걸친 미시적 질감의 탐색적 시각화를 가능하게 한다. 우리의 목표는 정확한 재구성이 아니라 그럴듯한 합성이다. 최대 350배 배율의 전체 이미지, 참조 기반, 극한 스케일 초해상도(super-resolution)에 집중하며, 이 설정은 두 가지 주요 과제를 제기한다: (1) 모호한 재질 경계 근처의 고손실 입력으로부터 질감 특화 세부 정보를 복원하는 것, (2) 직물 직조와 같은 반복 기하학과 같은 올바른 대규모 패턴 구조를 수백만 개의 지역 예측에 걸쳐 보존하는 것. 이를 2단계 캐스케이드(cascaded) 설계로 해결한다. 첫 단계에서는 전역 패턴 일관성을 복원하고, 두 번째 단계에서는 지역 질감 세부를 정제하며, 모호한 경계에서 합성을 안내하기 위해 분할(segmentation) 마스크를 보조적으로 사용한다. 자체 촬영한 일상 사물 모음에서 접근법을 검증하고, 전역적으로 일관되고 재질적으로 그라운딩된 기가픽셀 영상을 입증한다.
모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.
전자현미경은 나노 스케일의 세포 시각화를 가능하게 하지만, 이미징 해상도와 획득 속도 사이의 트레이드오프에 직면한다. 기존 학습 기반 방법은 단일 스트림 아키텍처에 의존하며, 지각적 현실감과 정량적 충실도 사이의 균형을 맞추는 데 어려움을 겪어, 세부를 과도하게 평활화하거나 비현실적인 환각을 생성한다. 본 연구는 이 갈등을 해결하기 위해 주파수 적응형 이중 스트림 아키텍처를 제안한다. 이산 웨이블릿 변환(discrete wavelet transform)을 사용하여 이미지를 저주파 구조와 고주파 세부로 분해한 다음, 현실적인 전역 합성을 위해 조건부 확산 모델(conditional diffusion model)을, 정밀한 세부 복원을 위해 트랜스포머 네트워크를 사용한다. EMDiffuse 데이터셋에서의 실험은 본 방법이 우수한 LPIPS와 resolution ratio를 달성하며, 기존 접근법을 크게 능가함을 보여준다. 본 방법은 또한 다양한 생물학적 샘플에 걸쳐 강한 일반화를 보이며, 구조 생물학 및 나노기술 응용을 위한 빠르고 신뢰할 수 있는 전자현미경 이미징을 지원한다. 소스 코드와 관련 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공된다.
많은 3D 에셋이 낮은 텍스처 해상도로 인해 폐기되지만, 현재의 초해상도 모델은 텍스처 맵을 무시하고 자연 이미지에만 집중한다. 효율적이고 일반화 가능한 텍스처 초해상도 모델은 영화, 비디오 게임 등 다양한 산업 분야에 걸쳐 노후화되었으나 가치 있는 방대한 에셋 코퍼스를 되살릴 수 있다. 우리는 텍스처 초해상도를 위한 새로운 프레임워크인 Texture++를 제안하며, 이는 에셋의 저해상도 텍스처를 향상시켜 고해상도의 고품질 결과를 생성한다. 구체적으로, UV 공간에서의 초해상도 작업을 여러 렌더링된 뷰에서 수행하고 출력을 병합하는 방식으로 재공식화한다. 첫째, 뷰 공간에서 더 완전하고 연속적인 텍스처를 달성하기 위해 UV 텍스처 패치에 분산된 텍스처를 통합하는 적응형 뷰 선택 전략을 제안한다. 또한, 서로 다른 시점에서 초해상도 처리된 텍스처를 결합하기 위한 쿼드트리(quadtree) 기반 텍스처 영역 구성 방법을 도입하여, 개선이 필요한 영역을 구분하는 마스크를 제공한다. 마지막으로, 지정된 마스크 영역의 텍스처 해상도를 향상시키고 주변 영역과 원활하게 통합하는 확산 기반 초해상도 모델을 설계한다. 포괄적인 평가를 통해, 우리의 접근법이 기존 방법 대비 세부 묘사와 일관성이 크게 향상된 텍스처를 생성함을 입증한다.
교차 모달리티 이미지 변환(image translation)은 저해상도 이미지로부터 형광 현미경 초해상화에 이르는 경로를 제공하며, 광독성(phototoxicity)과 장비 요구사항을 줄일 수 있다. 그러나 순수 데이터 기반 모델은 시각적으로 그럴듯한 출력을 생성할 수 있지만, 광학적 이미지 형성(optical image formation)과 일치하지 않을 수 있다. 본 연구에서는 학습 목표에 현미경 특이적 점 확산 함수(PSF, point spread function) 정보를 통합한, 공초점(confocal)-STED 이미지 변환을 위한 물리 정보 기반 생성적 적대 신경망(GAN, generative adversarial network)을 제안한다. 시뮬레이션 및 실험적으로 측정된 PSF는 서로 다른 실험일에 취득한 인간 원발성 M2 대식세포(human primary M2 macrophages) 내 TOM20 표지 미토콘드리아의 제한된 쌍을 이룬 공초점-STED 데이터셋을 사용하여 평가되었다. 성능은 참조 기반 및 비참조 기반 이미지 품질 지표와 함께 보완적인 주파수 및 분포 민감 분석을 통해 평가되었다. 비참조 지표는 공간 주파수 성분, 대비, 신호 대 잡음(signal-to-noise) 특성 등 물리학적으로 관련 있는 이미지 속성을 탐색했다. PSF 유도 모델은 구조적 충실도를 향상시키고 국소 편차를 줄였으며, 특히 주파수 영역 분석에서 PSF 비사용 기준선보다 STED 참조와 더 가까운 일치를 달성했다. 이 결과는 광학적 사전 지식(optical priors)이 교차 모달리티 초해상화 영상의 생성적 현미경 모델에서 구조적 충실도와 물리적 타당성을 개선할 수 있음을 보여준다.
적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.
확산 자기공명 영상(dMRI)은 뇌 미세구조를 탐색하는 강력한 도구이지만, 임상 촬영은 종종 낮은 면외(out-of-plane) 해상도로 제한되어 구조적 정보가 저하되고 고급 분석에의 활용도가 줄어드는 경우가 많다. 본 연구는 SIINR(Structurally Informed Implicit Neural Representations)를 제안한다. 이는 재구성 결과의 불확실성을 정량화하면서 임상 dMRI 데이터셋의 초해상도(super-resolution)를 수행하는 일반적 프레임워크이다. SIINR는 지도 학습 3D U-net을 사전(prior)으로 활용하고, 고해상도 사전과 원본 저해상도 데이터를 융합하는 자기지도(self-supervised) 암시적 신경 표현(INR)과 결합한다. INR은 공간 및 각도(angular) 영역에 걸친 공동 모델링을 가능하게 하고, 데이터 일관성(data consistency)을 강제하며, 하위 불확실성 정량화를 위한 해석적 근사 사후 분포를 제공한다. 다양한 공개 dMRI 데이터셋에서 프레임워크를 검증한 결과, SIINR는 정량적 오류 지표와 정성적 해부학적 충실도 모두에서 표준 보간(interpolation) 방법보다 우수함을 보였다. 다발성 경화증 및 뇌 병변 환자를 포함한 임상 사례 실험은 어려운 시나리오에서 강도 변화를 전파하고 불확실한 영역을 표시하는 프레임워크의 능력을 보여준다. SIINR는 유연하고 모듈식이며 다양한 업샘플링 비율과 하위 작업에 적용할 수 있어, 임상 dMRI를 향상시키고 파생 신경영상 지표의 견고한 해석을 지원하는 원칙적 접근법을 제공한다.
고정해빙(landfast sea ice) 거칠기의 정확한 추정은 기후 모델링과 안전한 북극 빙상 통행에 필수적이지만, 기존 접근법은 비용이 큰 항공 측량이나 sparse한 현장 측정에 의존하여 공간적 커버리지와 운영 확장성을 제한한다. 여기서는 조건부 확산 프레임워크를 사용하여 광학 위성 영상으로부터 고해상도 해빙 지형을 직접 복원할 수 있음을 보인다. 우리의 접근법인 RoughNet은 10m 해상도 Sentinel-2 다중분광 영상을 국소 정규화된 1m 표면 고도 잔차 장으로 매핑하는 방법을 학습하여, 널리 이용 가능한 위성 데이터로부터 미세 규모 거칠기 특성화를 가능하게 한다. 두 개의 북극 지역에서 수집한 항공 LiDAR 데이터로 학습하고, 이전에 보지 못한 세 번째 북극 지역에서 평가한 결과, 모델은 다양한 빙상 조건에 일반화되며 소규모 지형 구조를 부분적으로 재현한다. 최고 성능 모델은 영역 외(out-of-domain) 평균 제곱근 오차(RMSE) 9cm를 달성하면서, 기저 거칠기 장의 통계적 및 스펙트럴 특성을 보존한다. 이 결과는 생성형 확산 모델이 광학 영상만으로 물리적으로 의미 있는 표면 구조를 복원할 수 있음을 보여주며, 데이터가 sparse한 환경에서 고해상도 해빙 매핑과 거칠기 추정을 위한 확장 가능한 경로를 제공한다.
트랜스포머 기반 모델은 이미지 복원(IR) 작업에서 뚜렷한 진전을 이뤘다. 그러나 트랜스포머의 셀프 어텐션(self-attention)의 이차 복잡도는 고해상도 이미지에의 적용을 저해한다. 기존 방법들은 희소(sparse) 또는 윈도우 기반 어텐션으로 이 문제를 완화하지만, 본질적으로 전역 컨텍스트 모델링을 제한한다. 소프트맥스 어텐션의 변형인 선형 어텐션(linear attention)은 선형 복잡도를 유지하면서 전역 컨텍스트 모델링에서 가능성을 보여주며, 위 과제에 대한 잠재적 해결책을 제공한다. 효율성 이점에도 불구하고, 기본 선형 어텐션(vanilla linear attention)은 어텐션 맵의 저랭크(low-rank) 특성으로 인해 IR에서 성능이 크게 저하된다. 이를 해결하기 위해, 우리는 경량 깊이방향 합성곱(depthwise convolution)을 통합하여 특징 표현을 풍부하게 하는 간단하면서도 효과적인 방법인 랭크 강화 선형 어텐션(RELA)을 제안한다. RELA를 기반으로, LAformer라는 효율적이고 효과적인 비전 트랜스포머(Vision Transformer)를 제안한다. LAformer는 소프트맥스와 윈도우 시프팅(window shifting)과 같은 하드웨어 비효율적 연산을 제거하여 고해상도 이미지를 효율적으로 처리할 수 있게 한다. 7개의 IR 작업과 21개 벤치마크에 걸친 광범위한 실험을 통해 LAformer가 SOTA 방법들을 능가하고 상당한 연산상 이점을 제공함을 보여준다. 또한 LAformer를 확산 기반(diffusion-based) 및 플로우 기반(flow-based) 시각 생성에 확장하여, DiT와 SiT에 대한 경쟁력 있는 대안으로서의 강한 잠재력을 보여준다. 코드와 모델은 https://github.com/shallowdream204/LAformer 에서 이용할 수 있다.
최근 비전 트랜스포머(ViT) 기반 모델들은 이미지 초해상도(super-resolution)에서 뛰어난 성능을 보여주고 있다. 그러나 ViT의 공간 해상도에 대한 이차적(quadratic) 연산 복잡도는 효율성을 심각하게 제한하여 높은 지연 시간과 대규모 메모리 소비를 유발한다. 이를 완화하기 위해 다양한 윈도우 기반 어텐션 메커니즘이 제안되었지만, 이러한 방식들은 ViT의 핵심 장점인 장거리 의존성(long-range dependency) 모델링을 본질적으로 저해한다. 이러한 한계를 극복하기 위해, 우리는 전역 및 지역 정보를 효율적으로 통합하는 새로운 아키텍처인 클러스터링 기반 유닛 수준 유사도 트랜스포머(CUST, Clustered Unit-level Similarity Transformer)를 제안한다. 구체적으로, CUST는 각 패치가 지역 윈도우 외부의 확장된 영역 범위 내에서 유사한 패치들을 집계하고 어텐션을 수행할 수 있도록 함으로써 광범위한 문맥 이해를 가능하게 한다. 또한, 지역 의존성을 포착하기 위해 겹치는 어텐션 윈도우를 적용하는 동시에, 원본 특징과 다운샘플링-업샘플링된 대응 특징 간의 잔차 차이를 계산하여 고주파 세부 정보를 명시적으로 추출한다. 포괄적인 실험을 통해 제안된 모델이 연산 효율성과 복원 성능 간의 실용적인 균형을 달성함을 검증한다. 현실적인 제약 조건 하에서 최근의 전역 문맥 모델 또는 경량 모델과 비교하여 더 낮은 메모리 사용량과 더 빠른 추론 속도를 달성한다. 코드는 https://github.com/jwgdmkj/CUST 에서 공개되어 있다.
얼굴 초해상도(face super-resolution)는 얼굴이 포함된 이미지의 해상도를 높여 더 세밀한 디테일을 추가하는 작업이다. 이는 다양한 컴퓨터 비전(CV) 응용 프로그램에서 널리 사용되며, 사용자가 수행되고 있음을 인식하지 못하는 경우도 많다. 그러나 이는 비적절 문제(ill-posed problem)이기 때문에 높은 충실도로 수행하기가 어렵다. 본 논문에서는 고해상도 참조 이미지를 활용하여 작업을 보조하는 참조 기반 얼굴 초해상도 솔루션을 제시한다. 우리는 널리 사용되는 변형 가능한 합성곱(deformable convolutions)보다 상당히 안정적인 공간 트랜스포머(spatial transformer) 기반의 정렬 모듈을 제안한다. 또한 참조 이미지에서 양질의 정보를 활용할 수 있을 때는 이를 취하고, 해당 정보가 없을 때는 기능을 억제하는 집계 함수(aggregation function)도 제시한다. 마지막으로, 상대적으로 더 작은 우리의 모델이 여러 데이터셋에서 최첨단(state-of-the-art) 결과를 달성할 수 있음을 보여준다. 소스 코드는 https://github.com/varun-jois/FSRST 에서 확인할 수 있다.
단일 이미지 초해상도(SISR)는 저해상도 입력으로부터 고품질 이미지를 복원한다. 최근 멀티모달 방법들이 지각적 품질을 향상시키고 있으나, 오류가 있는 사전 정보에 민감하고 비용이 많이 드는 어노테이션을 필요로 한다. 이러한 문제를 해결하기 위해, 우리는 효율적인 시맨틱 마이닝과 강인한 텍스트-이미지 융합을 위해 학습 가능한 프롬프트를 활용하는 멀티모달 SISR 프레임워크인 Simon-SR을 제안한다. 본 접근법은 대조적 프롬프트 학습(Contrastive Prompt Learning)과 프롬프트 기반 공간 적응적 정제(Prompt-Guided Spatially Adaptive Refinement)를 결합하여 멀티모달 정렬을 강화한다. 실험 결과, Simon-SR은 최신 기법들을 능가하여 PSNR에서 최대 0.50 dB, SSIM에서 0.0133, LPIPS에서 0.0695의 최대 성능 향상을 달성하였다. 코드는 추후 공개될 예정이다.
본 논문은 ICIP 2026 극한 실환경 번호판 초해상도(XLPSR) 그랜드 챌린지 출품작을 기술하며, 공개 검증 리더보드에서 wECR 9.73을 달성하였다. 본 시스템은 Hybrid Attention 트랜스포머 초해상도(HAT) 프론트엔드와 두 장면 텍스트 인식기(PARSeq-S 및 CLIP4STR-B)의 앙상블, 그리고 불확실한 위치에서 기권하는 신뢰도 가중 문자 투표 방식을 결합한다. XLPSR을 이미지 가독성에 의해 제한되는 인식 과제로 취급한다: SR 단계는 문자를 서브픽셀 영역에서 끌어올리기 위해 존재하며, 비대칭 채점 규칙(+2 / -1 / 0)을 기권을 통해 명시적으로 활용한다. 파이프라인은 RTX 3090에서 시퀀스당 1.7초(최대 2.7초, p99 2.4초)로 실행되어, 60초/시퀀스의 Docker 제한 시간을 크게 밑돈다.
실세계 정렬 불일치 데이터에 대한 크로스모달 초해상도(SR)는 레이블이 없는 저해상도(LR) 소스 이미지와 복잡한 공간적 정렬 불일치를 가진 고해상도(HR) 가이드 이미지만 사용 가능하기 때문에 매우 어려운 과제이다. 기존 방법들은 시뮬레이션 학습 데이터에 의존하거나, 크로스모달 의존성을 간과하는 차선책적 정렬 전략을 채택함으로써 실용적 성능이 제한된다. 이러한 문제를 해결하기 위해, 우리는 정렬 불일치 인식 특징 번역기(feature translator)와 콘텐츠 인식 참조 필터를 온라인으로 공동 최적화하는 자기지도 모델 RobSelf를 제안한다. 번역기는 약지도(weakly-supervised) 정렬 불일치 인식 번역을 통해 비지도 크로스모달 및 크로스해상도 정렬을 해결하여 정렬된 가이드 특징을 생성한다. 이 특징에 의해 안내된 필터는 소스에 대해 참조 기반 판별적 자기강화를 수행하여 고해상도 및 고충실도의 SR 예측을 가능하게 한다. 합성 데이터와 수집된 실세계 데이터에 대한 실험을 통해 RobSelf가 기존 자기지도 및 지도 학습 방법을 능가하는 최첨단 성능을 달성함을 입증한다. 또한, 기존 자기지도 방법 대비 최대 15.3배 빠른 우수한 효율성을 달성한다.
현대의 딥러닝 초해상도(SR) 기법은 기저 콘텐츠와 시청 환경에 무관하게 이미지와 영상을 처리한다. 그러나 인간 시각 시스템(HVS)의 이미지 세부 정보에 대한 민감도는 공간 주파수, 휘도, 색상, 대비, 움직임 등 기저 이미지 특성과, 주변 조명 및 디스플레이까지의 거리와 같은 시청 환경 요소에 따라 달라진다. 이러한 관찰은 시청자가 합성된 세부 정보를 인식하지 못하는 경우, 즉 세부 정보의 해상도가 인간 시각의 해상 능력을 초과하는 경우, 이미지·영상 업샘플링에 투입되는 연산 자원이 낭비될 수 있음을 시사한다. 이에 착안하여, 우리는 인간 시각에서 영감을 받은 아키텍처-비종속적 접근법을 제안한다. 이 접근법은 SR 기법을 제어하여 연산 복잡도를 제한하면서 시각적으로 최적의 결과를 제공한다. 핵심은 특정 이미지 세부 정보와 시청 환경에 대한 인간의 민감도에 따라 SR 방법을 동적·국소적으로 안내하는 명시적 인간 시각 처리 프레임워크(HVPF)이다. 우리는 네트워크 브랜칭과 결합된 프레임워크의 적용을 통해 SR 방법의 연산 효율을 향상시키는 것을 시연한다. 사용자 연구를 포함한 정량적·정성적 평가는 지각 품질을 희생하지 않으면서 FLOPS를 2배 이상 감소시키는 접근법의 효과를 입증한다.
VQGAN으로 사전학습된 이산 특징 코드북(HR prior)을 활용해, 저해상도 이미지의 특징을 왜곡 없는 고해상도 대응 특징에 매칭하는 FeMaSR 프레임워크를 제안한다. 불안정한 GAN 학습이나 명시적 참조 이미지 없이도, 의미론적 정규화와 잔차 단축 연결을 통해 기존 방법 대비 더 사실적인 초고해상도 이미지를 생성함을 실험으로 검증했다.
MRI 초해상도(super-resolution)를 해상도-SNR 트레이드오프를 명시적으로 모델링하는 물리 인식 복원 문제로 재정의하고, 2D Gaussian Splatting을 MRI에 적용하여 동적 해상도 입력을 좌표 기반 렌더링으로 처리한다. 해부학적 구조 사전(prior), 물리 기반 신호 모델링(양성자 밀도 ρ 및 이완율 R₂ 예측), 메타 학습 기반 도메인 적응을 결합하여 동적 해상도 데이터셋과 FastMRI 벤치마크에서 최고 수준의 성능을 달성했다.
감시 환경의 저해상도 얼굴 이미지에서 신원 왜곡을 최소화한 초해상도(super-resolution)를 위해, 확산 모델(diffusion model) 기반의 FASR++는 참조 저해상도 이미지와 다수의 보조 저품질 이미지에서 추출한 특징을 Feature Combiner 모듈로 집약하여 고품질 얼굴 이미지를 생성한다. CelebA와 Quis-Campi 데이터셋에서 PSNR, SSIM, LPIPS 등 이미지 품질 지표와 1:1 검증 및 1:N 얼굴 인식 정확도 모두에서 최첨단(state-of-the-art) 성능을 달성하였다.