위성 이미지의 낮은 공간 해상도로 인해 인공강우 결정에 필요한 미세 구름 구조 포착이 어려운 문제를 해결하기 위해, 역 확산(inverse diffusion) 기반 2단계 초해상도(super-resolution) 프레임워크를 제안한다. 1단계는 실제 쌍 데이터로 센서 간 정렬을 학습하고, 2단계는 자기 지도 방식으로 고주파 구름 텍스처를 정제하여 SEVIRI→VIIRS, MSG→MTG 변환에서 기존 트랜스포머 및 확산 기반 베이스라인 대비 재구성 정확도와 지각적 품질 모두 향상된 성능을 달성했다.
현대 스마트폰은 정지 이미지를 전후로 짧은 동영상 버스트를 함께 촬영하는 라이브 포토(Live Photos)를 제공하여 역동적이고 몰입감 있는 사진 경험을 선사한다. 그러나 커버 사진과 동영상 구성 요소는 서로 다른 두 개의 이미징 파이프라인으로 생성된다. 사진 스트림은 완전한 컴퓨테이셔널 포토그래피 처리를 거치는 반면, 동영상 스트림은 실시간 효율성 요구와 높은 압축률의 제약을 받는다. 이러한 본질적인 분리로 인해 커버 사진과 동영상 프레임 간에 해상도, 색상 재현성, 다이나믹 레인지 측면에서 상당한 품질 격차가 발생한다. 사용자가 불완전한 커버를 대체하기 위해 동영상에서 다른 프레임을 재선택할 경우, 선택된 프레임은 심각한 화질 저하를 겪는 경우가 많아 직접 교체 시 시각적으로 만족스럽지 못한 결과를 초래한다. 이러한 프레임을 복원하려면 공간적 세부 정보와 색상 외관을 동시에 향상시켜야 하며, 이는 일반적인 초해상도(super-resolution)나 색상 향상보다 훨씬 어려운 과제이다. 이를 해결하기 위해 우리는 라이브 포토 커버 프레임 재선택 및 향상(LPRE, Live Photo Cover Frame Reselection and Enhancement) 태스크를 정의한다. 이 태스크는 각 라이브 포토 내에 내재된 단서를 활용한다. 즉, 구조적·색상 참조로서 고품질 커버 이미지, 복원 대상으로서 사용자가 재선택한 저품질 프레임, 그리고 시간적 단서를 제공하는 인접 동영상 프레임들을 활용한다. 이 공식화를 바탕으로 실세계 라이브 포토 2,042장으로 구성된 데이터셋 Live2K를 구축하고, 멀티 프레임 융합, 가이드 기반 색상 향상 및 초해상도를 통합하는 통합 단일 단계 기준선(baseline)을 개발하여 라이브 포토 화질 향상 연구를 위한 최초의 벤치마크를 수립한다.
확산 모델(diffusion model)은 조건부 이미지 생성의 지배적인 패러다임으로 자리잡았지만, 기존 접근법은 일반적으로 두 가지 방향을 따른다. 성능을 향상시킬 수 있지만 일반화를 제한하는 태스크별 설계와, 풍부한 조건을 스칼라 목적 함수로 압축하고 단계별 가이던스를 적용하여 정보 병목 현상과 샘플링 궤적을 따라 오류가 누적되는 학습(training) 없는 손실(loss) 가이던스가 그것이다. 다양한 조건부 이미지 생성 태스크에 걸쳐 효과적인 통합 프레임워크의 필요성이 시급한 상황에서, 우리는 태스크 의존적 아키텍처를 도입하지 않고 조건부 이미지 생성을 향상시키는 학습 없는 추론(inference) 방법인 데이터 주입 및 대조적 궤적 정제(DICT, Data Injection and Contrastive Trajectory Refinement)를 제안한다. DICT는 데이터 주입(Data Injection)을 도입하여 노이즈가 섞인 조건 신호를 초기 디노이징 단계에 통합한다. 이렇게 주입된 신호에 대해 가이드 디노이징을 수행함으로써 DICT는 원시 조건에서 태스크에 중요한 정보를 적응적으로 선택하고 증류하여 공간적 풍부함을 효과적으로 보존하고 조건과 생성 간의 정밀한 정렬을 보장한다. 나아가 DICT는 인접한 디노이징 상태 간에 대조적 궤적 정제(Contrastive Trajectory Refinement)를 적용하여 쌍별 비교를 통해 샘플 품질을 점진적으로 향상시킨다. 이러한 설계는 통합된 확산 공식 하에서 추론을 단순하게 유지하면서 크로스 태스크 전이를 개선한다. 조건부 이미지 생성 태스크(예: 스타일 전이, 이미지 초해상도, 이미지 디블러링)에 대한 광범위한 실험은 대표적인 태스크별 기준선 및 손실(loss) 가이드 기준선 대비 충실도와 지각적 품질에서 일관된 성능 향상을 보여준다.
AVSR-Diff는 고정 배율에 제한된 기존 확산 모델 기반 비디오 초고해상도(VSR)와 좌표 기반 임의 배율 방법의 과도한 블러 문제를 동시에 해결하기 위해, 스케일 무관 잠재 디노이징과 연속 좌표 렌더링을 분리한 디커플드 프레임워크를 제안한다. Temporally-Gated Feature Recurrence(TGFR) 모듈로 시간적으로 정렬된 잠재 사전(latent prior)을 추출하고, Scale-Aware Fourier Refinement(SAFR) 모듈로 목표 배율에 따라 주파수 성분을 동적으로 조절하여, 임의 배율에서 최신 기법을 능가하는 고주파 디테일과 시간적 일관성을 달성했다.
광필드 초해상도(LFSR)에서 기존 방법들의 공간-각도 분리 모델링 및 SSM 기반 스캔 패턴과 에피폴라 기하학 간의 불일치 문제를 해결하기 위해, 기울기 유도 Mamba와 각도 정제 트랜스포머를 결합한 하이브리드 네트워크 SMART를 제안한다. SMART는 에피폴라 기하학을 따라 적응적으로 스캔 궤적을 조정하는 Manifold-Aligned Trajectory(MAT) 모듈과 각도 사전 정보를 공간 어텐션에 주입하는 Angular-Modulated Spatial(AMS) 모듈을 통해, 5개의 벤치마크에서 기존 최고 성능을 0.42 dB(PSNR) 상회하는 최첨단 성능을 달성했다.
고해상도 위성 영상에 대한 수요 증가로, Sentinel-2와 같은 무료 공개 미션과 PlanetScope와 같은 상업 시스템 간의 공간 해상도 격차를 해소하기 위한 초해상화(super-resolution, SR)에 대한 관심이 높아졌다. 어떤 센서도 진정한 저해상도-고해상도 쌍 관측을 제공하지 않기 때문에, SR 모델은 보통 합성적으로 저하된 데이터로 학습되며, 이는 실제 교차 센서 영상에서 도메인 갭(domain gap)을 만든다. 본 연구에서는 이러한 합성-실제(synthetic-to-real) 불일치가 현대 확산(diffusion) 기반 SR 모델의 성능에 어떤 영향을 미치는지에 대한 최초의 체계적 연구를 제공한다. 기하학적·시간적으로 정렬된 대규모 Sentinel-2 및 PlanetScope 영상 데이터셋을 사용하여, 통제된 실험 설정 하에서 다섯 가지 최신(state-of-the-art) 확산 아키텍처를 평가한다. 또한 Sentinel-2 자기지도(self-supervised) 특징 기반의 도메인 적응형 지각(perceptual) 지표인 LPIPS-Sat를 제안한다. 결과는 두 가지 지속적인 과제를 보여준다: 합성 데이터로 학습된 모델은 실제 쌍(real pairs)에서 급격히 성능이 저하되며, 실제 교차 센서 데이터로 학습된 모델은 최적화(optimization) 어려움을 보이고 물리적·방사측정(radiometric) 다양성에 적응하는 데 어려움을 겪는다. 이러한 발견은 현재 SR의 핵심 한계를 부각시키며, 초해상화와 도메인 적응(domain adaptation)을 분리(disentangle)하는 방법을 촉구한다.
이방성 임상 촬영에서 임의 배율의 중간 슬라이스를 합성해 등방성 볼륨을 복원하는 임의 슬라이스 초해상도 과제에서, DP-NSL은 측정 일관성 투영(MCP)으로 획득 슬라이스를 오차 없이 보존하고 영공간(null space)에서 스플라인 혼합(MoS)과 국소 공간 일관성 디코더(LSCD)로 기하학적 연속성을 부과하는 이중 사전 영공간 학습 프레임워크를 제안한다. CT 3개와 MRI 1개 벤치마크에서 기존 방법을 능가하면서 측정 일관성을 엄격히 유지했다.
이미지 초해상도(SR)에서 생성적 사전지식은 종종 충실한 복원을 희생시킨다. 우리는 이 한계를 등방성 목적함수와 고유한 자연 이미지 매니폴드 사이의 근본적인 스펙트럴 정렬 불일치에 기인한다고 본다. 직접 선호 최적화는 정렬의 한 경로를 제공하지만, 스펙트럴적으로 평탄한 가우시안 노이즈에 의존하기 때문에 진정한 고주파 세부사항과 환각을 구분하지 못한다. 이 기하학적 간극을 메우기 위해, 우리는 이론적으로 뒷받침된 프레임워크 ASASR을 제안한다. ASASR은 노이즈 전이 커널에 명시적으로 색을 입혀 자연스러운 스펙트럴 감쇠를 반영함으로써 생성 흐름을 Sobolev-유도 리만 기하학으로 재구성한다. 이 기하학적 정렬을 추진하기 위해, Riesz 표현 정리에 기반한 매개변수화 적대자를 통합한다. 이는 최악의 경우 Sobolev 기울기에 상응하는 표적화된 부정 샘플을 합성하여, 그럴듯한 구조적 실패의 접공간을 따라 최적화를 유도한다. 광범위한 평가 결과 ASASR은 선도적인 생성형 베이스라인을 능가하며, 특히 스펙트럴 일관성과 구조적 충실도를 보존하는 데 탁월하다. 아티팩트를 효과적으로 완화하는 견고한 솔루션을 제공한다.
Gaussian Splatting은 최근 위성 3D 재구성에 탐구되어, 복사 특성이 다양한 위성 장면을 표현하는 데 유연성과 효율성을 보여주었다. 그러나 위성 영상의 제한된 상단(top) 시점으로 인해 건물 정면에 대한 감독이 부족하여 표면 구멍과 저하된 시각적 충실도가 남는다. 감독 대상으로 사용되는 렌더링 이미지를 반복적으로 정제하고 갱신하기 위해 사전학습된 생성적 사전지식(prior)을 활용하는 생성적 정제(generative refinement)는 Gaussian 렌더링 이미지의 시각적 충실도를 향상시키기 위해 최근 연구되었다. 그러나 이러한 모델은 각 뷰를 독립적으로 정제하기 때문에, 결과 이미지에서 환각(hallucination)이 발생하고 포토 일관성(photo-consistency)이 깨져 기하학적 퇴화로 이어질 수 있다. 이러한 한계를 해결하기 위해, 생성적 정제에서 흔히 나타나는 기하학적 퇴화를 최소화하는 것을 목표로 하는 SatSplatDiff를 제안한다. 선행 연구 SatSplat에서 확립한 촬영 측량(photogrammetric) DSM 초기화와 2DGS 기반 그림자 투사(shadow casting)를 기반으로, 먼저 단안 깊이 감독과 다중 스케일 기하학적 정제를 도입하여 기하학적으로 정확하고 잘 정규화된 표면 표현을 구축한다. 이후 기하학적으로 계산된 그림자 맵(shadow map)이 기저 기하학과의 일관성을 유지하도록 Gaussian을 유도하는 그림자 유도 생성적 정제(shadow-guided generative refinement)를 적용하여, 기하학적 퇴화를 줄이면서 시각적 충실도를 향상시킨다. IARPA2016 및 DFC2019 데이터셋(dataset)에 대한 광범위한 평가(evaluation)는 최신(state-of-the-art) 성능을 보여주며, 기존 베이스라인 대비 기하학적 MAE를 최대 18% 감소시키고 시각적 충실도(FID-CLIP)를 28-45% 향상시킨다. 우리 방법은 최소한의 환각과 센서 일관적(sensor-consistent) 외관으로 최대 5배 해상도 향상을 제공하며, 타일 간 원활한 일관성과 대규모 재구성을 위한 강한 확장성(scalability)을 보여준다. 소스 코드는 https://github.com/GDAOSU/SatSplatDiff 에서 제공된다.
최근 신경 텍스처 압축 연구는 물리 기반 셰이딩 모델의 입력을 재현하기 위해 셰이딩 과정에서 실시간으로 디코딩할 수 있는 소규모 재질별 텍스처 표현—잠재 텍스처와 소규모 다층 퍼셉트론(MLP) 디코더로 구성—을 학습할 수 있음을 보였다. 그러나 기존 방법은 주어진 MLP와 잠재 구성에 대해 재질마다 그래디언트 하강 최적화를 수행해야 한다. 본 연구에서는 잠재 특징과 MLP의 가중치 및 편향을 모두 출력하는 단일 하이퍼네트워크를 학습한다. 해 공간은 고차원이지만, 이 접근법은 현재 기준 신경 텍스처 압축기와 품질 면에서 유사한 결과를 낸다. 또한 이 접근법을 확장하여 여러 디코더를 한 번에 추론하거나 초해상화(super-resolution)를 학습하는 디코더를 생성할 수 있게 한다.
도시 환경에는 ATM, 착용형 카메라, CCTV, 대시보드 카메라 등 특정 목적을 위해 구축된 다수의 영상 센서가 존재한다. 기회적 센싱(opportunistic sensing) 패러다임 하에서 이러한 센서는 번호판 인식과 같은 2차 추론 작업에 재활용될 수 있다. 그러나 이러한 영상에서 관심 대상은 종종 노이즈가 많고 저해상도이며 극단적인 시점에서 촬영된다. AI 기반 복원의 최근 발전으로 심각하게 퇴화된 이미지에서도 유용한 정보를 복구할 수 있다. 핵심 과제는 어떤 왜곡 매개변수가 신뢰할 수 있는 복원을 허용하고 어떤 것이 추론 실패로 이어지는지 판별하는 것이다. 본 논문은 이러한 경계를 정량화하는 작업 무관(task-agnostic) 방법인 복원 가능성 지도(recoverability maps)를 제안한다. 이 방법은 퇴화 매개변수에 대한 조밀한 합성 전수 탐색과 두 가지 요약 측정치를 결합한다: 매개변수 공간의 복원 가능 비율을 추정하는 경계 곡선하 면적(boundary area-under-curve), 그리고 해당 영역 내 실패의 빈도와 심각도를 포착하는 신뢰성 점수(reliability score). 우리는 현실적인 카메라 아티팩트 하에서 고각도 시점의 번호판 인식에 이 방법을 시연한다. U-Net, Restormer, Pix2Pix, SR3 diffusion 등 여러 복원 아키텍처를 학습하고 평가한다. 최고 성능 모델은 매개변수 공간의 약 93%를 복원한다. 모델 간 유사한 결과는 아키텍처보다는 센싱 기하학(sensing geometry)이 복원의 한계를 설정함을 시사한다.
실세계 이미지 초해상도(Real-ISR)를 위한 확산 모델의 높은 계산 비용 문제를 해결하기 위해, Dynamic Inter-block Activation과 Expansion-Corrosion Strategy 기반의 깊이 가지치기(depth pruning), 경량 VAE 압축, 조건 모듈 제거 등을 결합한 소형 확산 모델 TinySR을 제안한다. TinySR은 교사 모델 TSD-SR 대비 최대 5.68배 속도 향상과 83% 파라미터 감소를 달성하면서도 RealSR 벤치마크에서 경쟁력 있는 지각적 품질을 유지한다.
고해상도(HR) MRI 획득은 스캔 시간 제약으로 인해 어려움을 겪는 경우가 많아, 진단 정확도를 저하시키는 비등방성 또는 저해상도 스캔(예: 두꺼운 슬라이스 FLAIR)이 발생한다. 심층 학습(deep learning) 기반 초해상도(SR) 방법들이 가능성을 보이고 있지만, 해부학적 세부 정보를 환각(hallucinate)하는 경향이 있어 뇌 구조적 무결성을 손상시킬 수 있다. 이러한 한계를 완화하기 위해, 우리는 MR-DiffuSR을 소개한다. 이는 HR T1w 구조 영상 사전 정보(prior)를 통합하여 두꺼운 슬라이스 FLAIR 스캔의 복원을 안내하고 3D 잠재 공간에서 동작하는 다중 해상도 확산 기반 초해상도(Multi-Resolution Diffusion-based Super-Resolution) 프레임워크이다. 우리의 아키텍처는 교차 모달리티 구조적 스윈-어텐션(cross-modality structural swin-attention)을 도입하여, HR T1w로부터 구조적 어텐션 맵을 도출하고 이를 저해상도 FLAIR 잠재 특징에 적용한다. 이 설계는 해부학적 구조를 모달리티별 대비(contrast)로부터 분리하여 환각을 효과적으로 방지한다. 또한, 혼합 스케일 저하(mixed-scale degradation) 전략을 채택하여 다양한 다운샘플링 인수의 연속체에서 모델을 학습시켜 다양한 슬라이스 두께에 대한 강건성을 보장하고, DINOv3 기반 지각 손실(perceptual loss)로 최적화하여 고주파 의미론적 세부 정보를 보존한다. ADNI-4 데이터셋에서 평가한 결과, MR-DiffuSR은 CNN 및 2D 확산 접근법 모두를 능가하여 모든 다운샘플링 인수에 걸쳐 평균 PSNR 32.46dB, SSIM 0.97, LPIPS 0.07을 달성하였다. 하류(downstream) 백질 고신호(white matter hyperintensity) 분할 작업에서 우리 모델은 탁월한 강건성을 보인다. 10배 다운샘플링에서 기준선(baseline) 성능이 붕괴하는 반면(Dice: 0.51), MR-DiffuSR은 7mm 동등 슬라이스 두께에서도 Dice 점수 0.63을 유지하여 유용성을 보존한다.
우리는 과학 이미지 이해, 생성, 편집을 위한 오픈 가중치(open-weight) 통합 멀티모달 모델 S1-Omni-Image를 제안한다. 범용 이미지 생성 모델과 달리, 과학 이미지 태스크는 고품질 합성뿐만 아니라 과학적 의미론, 구조적 관계, 도메인 지식, 태스크 의도에 대한 강건한 이해를 동시에 요구한다. 이를 위해 S1-Omni-Image는 과학 멀티모달 추론 백본인 S1-VL-32B를 기반으로 구축되며, 그 이해 능력을 통합된 생성-전-사고(think-before-generate) 패러다임 하에서 이미지 생성 모듈과 결합한다. 사용자 지시가 주어지면, 모델은 먼저 태스크 지향적 추론 트레이스, 텍스트 답변, 태스크 특수 토큰을 생성하고, 이들의 은닉 상태를 생성 모듈에 주입하여 이미지 생성 또는 편집을 조건화한다. S1-Omni-Image는 통합 프레임워크 내에서 과학 이미지 이해, 생성, 편집을 지원한다. 생성 측면에서는 논리 다이어그램, 관계 비교, 데이터 차트, 사실적 과학 시각화 등 과학적 삽화와 텍스트 렌더링에 집중한다. 편집 측면에서는 이미지 분할 및 기타 도메인 특화 비전 태스크를 네이티브 이미지 편집 문제로 재구성하여, 다중 턴 삽화 편집, 의료 및 지리 이미지 분할, 의료 이미지 변환, 과학 이미지 초해상도를 가능하게 한다. 우리는 314K 샘플 학습 데이터셋 SciGenEdit을 구축하고, 모델 가중치, 추론 코드, SciGenEdit-10K를 공개한다. 실험 결과, S1-Omni-Image는 S1-VL-32B로부터 계승한 과학 이미지 이해 능력을 유지하면서 과학 이미지 생성 및 편집 성능을 크게 향상시킴을 보인다. GenExam 및 TechImage-Bench에서 오픈소스 모델들을 능가하고, MSD, cigRockSEM, SynthRAD2025, IXI를 포함한 네 가지 편집 벤치마크에서 최고 성능(state-of-the-art)을 달성하며, 과학 이미지 이해 평가에서도 안정적인 성능을 유지한다.
이미지 초해상화(SR) 작업에서 충실도(fidelity)와 지각적 품질(perceptual quality)은 본질적으로 경쟁하고 상충하는 두 목표이다. 서로 다른 손실 함수는 이러한 목표에 각기 다른 정도로 초점을 맞춘다. 회귀 손실은 모델의 충실도를 높이지만 고주파 세부에 대한 충분한 고려가 부족하여 미세한 디테일 손실로 이어진다. 반면 지각 손실은 모델의 시각적 품질을 개선하지만 바람직하지 않은 아티팩트(artifact)를 유발할 수 있다. 이 두 최적화 목표의 균형은 다목적 최적화(Multi-Objective Optimization) 문제로 볼 수 있다. 기존 방법은 이러한 손실 간 가중치 매개변수를 신중하게 조정하는 데 그치며, 근본적인 이해관계 얽힘(Interest Entanglement) 문제를 간과한다. 이 문제를 해결하기 위해, 우리는 회귀 목표와 지각 목표 사이의 고유한 주파수 영역 충돌을 탐구하고 SR 작업에서 이해관계 얽힘의 원인을 분석한다. 분석 결과에 따라, 우리는 서로 다른 최적화 목표의 학습 과정을 분리(decouple)하여 모델이 두 목표에 대한 공통 최적화 방향을 탐색하고 이들 사이의 효과적인 균형을 달성할 수 있게 하는 공유 특징 표현 기반 초해상화 프레임워크(SFR)를 제안한다. 공유 특징을 더 잘 활용하기 위해, 차원 축소 및 확장 과정을 통해 중복 정보를 걸러내고 특징을 일관된 공간으로 효과적으로 변환하는 InfoSqueeze 모듈도 제안한다. 5개의 대표적인 데이터셋에 걸친 정량 및 정성 실험은 SFR의 우수성을 입증한다.
임의 스케일 이미지 초해상도(ASISR)는 연속적인 업스케일링 배율 범위에서 저해상도 입력으로부터 고해상도 이미지를 재구성하는 것을 목표로 한다. 전통적인 픽셀 회귀 방식은 종종 과도하게 매끄러운 결과를 생성하여 사실적인 디테일이 부족하지만, 최근 확산 방법은 더 선명하고 사실적인 텍스처를 생성할 수 있다. 그러나 이러한 확산 기법은 구조적 환각 위험을 자주 유발한다. 이 문제를 해결하기 위해 우리는 충실도 및 지각 인식 지역 암시적 어텐션(FPLIA)을 제안한다. FPLIA는 확산 파이프라인에 충실도 지향 특징을 효과적으로 통합하여 ASISR에 대해 사실적이면서 충실한 재구성을 생성하는 프레임워크이다. 우리는 표현력을 향상시키기 위해 충실도 지향 및 지각 특징에 self-attention과 cross-attention을 모두 적용하는 충실도 및 지각 어텐션 모듈(FPAM)을 도입한다. 이들의 상호 보완성을 더욱 활용하기 위해 RGB 값 예측을 위해 가장 대표적인 특징을 적응적으로 선택하는 충실도 및 지각 선택 모듈(FPSM)을 설계한다. 우리는 이러한 구성 요소의 효과를 검증하기 위해 광범위한 실험을 수행한다. 정성적 및 정량적 결과 모두 FPLIA가 표준 ASISR 벤치마크에서 재구성 정확도를 유지하면서 우수한 지각적 사실성을 제공함을 보여준다. 소스 코드는 다음 저장소에서 이용할 수 있다: https://github.com/XUSean0118/FPLIA.
안정적인 선형 순환을 위한 체계적인 공식화로 설계된 선형 순환 유닛(LRU)은 장거리 의존성(long-range dependency) 작업에서 유망한 정확도와 견고성을 보여주었습니다. 그러나 정적 파라미터화와 단일 스캔 방식은 2D 비전(vision) 작업으로의 적용 가능성을 제한합니다. 본 연구에서는 단일 이미지 초해상도에서 성능과 효율성 사이의 조화로운 균형을 달성하기 위해 시맨틱 변조 유닛(SMU)을 갖춘 LRU 기반 복원 네트워크를 제안합니다. SMU는 LRU 변조, 공간 분류, 그리고 학습된 프로토타입(prototype)을 통한 특징(feature) 향상이라는 세 가지 핵심 역할을 수행합니다. 광범위한 실험을 통해 우리의 방법이 최신 최첨단 방법을 정량적 및 정성적으로 능가함을 입증했습니다. 특히, 우리의 접근 방식은 기존 방법과 동등한 계산 복잡도로 우수한 성능을 달성했습니다. 소스 코드와 모델은 https://github.com/MingyuChoi-run/LSM 에서 확인할 수 있습니다.
스파이킹 신경망(SNNs)은 효율성과 생물학적 영감에 대한 잠재력으로 인해 컴퓨터 비전(CV) 분야에서 상당한 관심을 받아왔습니다. 스파이킹 CNN 기반 방법은 이미지 복원(IR) 작업에서 가능성을 보여주었으나, CNN 연산의 고유한 수용장(receptive field) 한계로 인해 성능이 제약받습니다. 본 논문에서는 이산 웨이블릿 변환의 이점을 탐구하고, 고효율 및 저전력이라는 목표를 달성하기 위해 스파이킹 피라미드 웨이블릿 기반 모델(SPWM)을 제안합니다. 구체적으로, 장거리 의존성(long-range dependency)을 모델링하고 웨이블릿 영역에서 열화(degradation) 특성을 활용하기 위해 스파이킹 듀얼 피라미드 웨이블릿(SDPW) 블록을 개발했습니다. 여러 벤치마크에 대한 실험 결과, SPWM은 이미지 품질을 유지하면서도 계산 비용과 에너지 소비를 획기적으로 줄이는 것으로 나타났습니다. 우리의 방법은 이미지 복원(IR) 분야에서 SNN의 잠재력을 보여주며, 자원이 제한된 기기에 대한 향후 응용을 위한 새로운 통찰력을 제공합니다.
이미지 복원은 열화된 입력으로부터 고품질 이미지를 복원하는 것을 목표로 하지만, 복잡하고 혼합된 열화 조건에서는 매우 ill-posed한 문제가 됩니다. 통합 올인원 모델이 일반적이지만, 열화 복잡도가 증가함에 따라 성능이 저하됩니다. 최근 연구들은 전문화된 모듈을 사용하여 다단계 복원을 위해 사고의 연쇄(CoT) 추론을 채택하고 있습니다. 그러나 이 접근법은 두 가지 주요 한계에 직면합니다: (i) 다단계 처리로 인한 증가된 계산 비용, (ii) 단계별 추론 동안 열화 간의 상호작용에 대한 약한 모델링입니다. 우리는 단일 모델 내에 CoT 추론을 내재화하는 범용 이미지 복원 프레임워크인 CoTIR을 소개합니다. 구체적으로, 우리는 이미지 복원을 이미지 편집의 전문화된 하위 작업으로 간주하며, 이는 대규모 사전학습된 편집 모델이 더 유리한 최적화 시작점을 제공함을 시사합니다. 이를 기반으로 우리는 복원을 위해 모델을 파인튜닝하고, 라그랑주 최적화에서 영감을 받은 미분 가능한 공식을 통해 구조화된 CoT 스타일 추론을 학습 목적함수에 인코딩하여, 전문화된 복원 모델들을 연결하지 않고도 전체적인 복원을 가능하게 합니다. 학습 및 평가를 돕기 위해, 우리는 CoT 스타일 추론 트레이스를 포함하는 520만 개의 샘플로 구성된 대규모 벤치마크인 CoTIR-Bench를 추가로 제시합니다. CoTIR-Bench와 광범위한 실제 복합 열화 장면에 대한 광범위한 실험을 통해 CoTIR이 올인원 모델 및 다단계 복원 방법보다 더 강력한 지각적 품질과 더 경쟁력 있는 충실도를 달성함을 보여줍니다. 소스 코드는 https://github.com/gy65896/CoTIR에서 확인할 수 있습니다.
임의 스케일 초해상도(ASISR)는 여전히 스케일 간 분포 이동으로 인해 근본적인 제약이 있습니다. 추론 스케일이 학습 범위를 벗어나는 순간 노이즈, 블러, 아티팩트가 급격히 축적되기 때문입니다. 본 연구에서는 스케일 간 분포 전이 관점에서 이 문제를 재조명하고, 초고배율 확대를 인-분포(in-distribution) 스케일 전이의 연속으로 재정의하는 단순하면서도 매우 효율적인 순환 초해상도 프레임워크인 CASR를 제안합니다. 이 설계는 단일 모델만으로도 임의의 스케일에서 안정적인 추론을 보장합니다. CASR는 반복(iteration) 과정에서의 분포 드리프트와 패치 단위 확산 불일치라는 두 가지 주요 병목 현상을 해결합니다. 제안된 SSAM 모듈은 슈퍼픽셀 집계를 통해 구조적 분포를 정렬하여 오류 누적을 방지하고, SARM 모듈은 상관관계 기반 일관성을 강제하고 상관관계 정렬을 통해 자기 유사성 구조를 보존하여 고주파 텍스처를 복원합니다. 단일 모델만을 사용함에도 불구하고, 본 방법은 분포 드리프트를 획기적으로 줄이고 장거리 텍스처 일관성을 유지하며, 극한의 배율에서도 우수한 일반화 성능을 달성합니다.