Deep Likelihood Network for Image Restoration with Multiple Degradation Levels
원문 초록
Convolutional neural networks have been proven effective in a variety of image restoration tasks. Most state-of-the-art solutions, however, are trained using images with a single particular degradation level, and their performance deteriorates drastically when applied to other degradation settings. In this paper, we propose deep likelihood network (DL-Net), aiming at generalizing off-the-shelf image restoration networks to succeed over a spectrum of degradation levels. We slightly modify an off-the-shelf network by appending a simple recursive module, which is derived from a fidelity term, for disentangling the computation for multiple degradation levels. Extensive experimental results on image inpainting, interpolation, and super-resolution show the effectiveness of our DL-Net.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
EAMamba: Efficient All-Around Vision State Space Model for Image Restoration
Unsupervised Imaging Inverse Problems with Diffusion Distribution Matching
RFMSR: 이미지 초해상도를 위한 잔차 플로우 매칭
RFMSR: Residual Flow Matching for Image Super-Resolution
생성형 이미지 초해상도(ISR) 방법은 일반적으로 표준 가우시안 사전분포에서 샘플링하여 이를 데이터 분포로 이동시키며, 이때 저품질(LQ) 입력은 외부 조건으로만 사용된다. 그러나 LQ 이미지는 목표 고품질(HQ) 이미지에 대한 풍부한 구조 정보를 이미 담고 있으므로, LQ 이미지에 근사하는 분포가 더 적합한 출발점이 되며, 이 아이디어는 일련의 확산 기반 복원 방법에서 검증되었다. 반면 최근의 플로 매칭 기반 ISR 방법은 여전히 표준 가우시안 사전분포를 채택하여 이러한 구조적 사전 정보를 버린다. 더욱이 증류나 일관성 훈련과 같은 기존의 단일 단계 가속 기법은 추가 교사 모델에 의존하거나 모델의 다단계 추론 능력을 희생한다. 본 논문에서는 소스 분포를 LQ 잠재 표현을 중심으로 하는 가우시안으로 정의하여 플로가 순수 노이즈가 아닌 LQ 이미지에서 시작하도록 하고 입력에 이미 존재하는 구조적 사전 정보를 보존하는 이미지 초해상도를 위한 잔차 플로 매칭(RFMSR)을 제안한다. 고품질 단일 단계 생성을 달성하기 위해, 단일 단계 출력에 대한 지도 손실과 조건부 플로 매칭(CFM) 손실을 결합한 간단하면서도 효과적인 훈련 전략을 추가로 제안하며, 이를 통해 증류나 기타 가속 기법에 의존하지 않고도 임의의 단계 수로 고품질 복원이 가능하다. 폭넓은 실험을 통해 RFMSR이 최신 방법들과 경쟁력 있는 결과를 달성함을 보인다. 소스 코드는 https://github.com/Faze-Hsw/RFMSR 에서 이용할 수 있다.
역문제를 위한 확산 기반 최적화기의 원칙적 설계
Principled Design of Diffusion-based Optimizers for Inverse Problems
스코어 기반 확산 모델은 역문제에서 최첨단 성능을 달성하지만, 긴 추론 시간과 번거로운 하이퍼파라미터 튜닝으로 인해 실제 배포가 저해된다. 사전학습된 확산 모델은 재학습 없이 여러 태스크에 재사용할 수 있지만, 노이즈 스케줄과 사후 샘플링 가중치와 같은 추론 시점 하이퍼파라미터는 일반적으로 각 문제 설정마다 임시방편적인 조정이 필요하다. 우리는 불변성을 유도하는 원칙적 재매개화를 제안하여, 동일한 하이퍼파라미터를 재튜닝 없이 여러 문제에 걸쳐 재사용할 수 있게 한다. 또한 사후 샘플링을 최적화 문제로 재구성하는 RED-diff 프레임워크를 바탕으로, OptDiff 파이프라인을 추가로 개발한다. OptDiff는 추론을 가속하기 위한 볼록 최적화 도구의 통합을 용이하게 하는 간소화된 튜닝 프레임워크를 제공한다. 이미지 재구성, 디블러링, 초해상도에 대한 실험은 상당한 속도 향상과 향상된 이미지 품질을 보여준다.
NanoVSR: 엣지 디바이스에서의 실시간 비디오 초해상도를 향하여
NanoVSR: Towards Real-Time Video Super-Resolution on Edge Devices
최근 비디오 초해상도(VSR) 방법들은 트랜스포머와 명시적 옵티컬 플로우에 크게 의존하며, 이는 TensorRT와 같은 하드웨어 가속기에의 배포를 저해하는 연산 오버헤드와 커스텀 연산을 야기한다. 이를 해결하기 위해, 우리는 리소스가 제한된 엣지 디바이스를 위해 설계된 확장 가능한 완전 합성곱 아키텍처인 NanoVSR을 소개한다. 구조적 재파라미터화(structural reparameterization)를 활용하여, NanoVSR은 추론 시 표준 합성곱으로 축약되어 원활한 하드웨어 호환성과 무시할 수 있는 수준의 런타임 오버헤드를 보장한다. 또한, 명시적 모션 보상이 없음에도 불구하고, 점진적 학습을 통해 시공간적 정렬을 암묵적으로 학습함으로써 경쟁력 있는 복원 품질을 유지한다. REDS4 벤치마크에서 평가한 결과, NanoVSR은 정확도와 연산 효율성 간의 탁월한 균형을 보여주며, 소형 아키텍처에서의 트레이드오프를 크게 개선한다. NanoVSR-644k 기준선은 NVIDIA Jetson Orin NX 16GB(25W)에서 27.2 FPS를 달성하면서 28.64 dB PSNR을 제공하여, 더 무거운 모델 대비 대폭적인 속도 향상을 제공한다. 확장된 NanoVSR-1.7M 변형은 19.58 FPS의 처리량으로 29.15 dB에 도달하여, 우수한 엣지 최적화 업스케일링을 제공한다. 코드는 https://github.com/filippawlicki/nanovsr 에서 확인할 수 있다.
IS-Diff: 더 나은 초기 시드를 통한 디퓨전 기반 인페인팅 개선
IS-Diff: Improving Diffusion-Based Inpainting with Better Initial Seed
디퓨전 모델(diffusion model)은 자유 형식 인페인팅(free-form inpainting)에서 유망한 결과를 보여왔다. 정제된 디퓨전 샘플러(diffusion sampler)나 새로운 아키텍처 설계에 기반한 최근 연구들은 사실적인 결과와 높은 데이터 일관성을 달성했다. 그러나 기본(vanilla) 디퓨전 과정에서 사용되는 무작위 초기화 시드(노이즈)는 마스킹된 영역에 불일치한 의미 정보(semantic information)를 유입시킬 수 있으며, 이는 편향된 인페인팅 결과, 예를 들어 마스킹되지 않은 다른 영역과의 낮은 일관성 및 낮은 조화성(coherence)으로 이어질 수 있다. 이 문제를 해결하기 위해, 우리는 완전히 학습이 필요 없는(training-free) 접근법인 초기 시드 정제 디퓨전 모델(Initial Seed refined Diffusion Model, IS-Diff)을 제안하며, 이는 분포적으로 조화로운 시드를 결합하여 조화로운 결과를 생성한다. 구체적으로, IS-Diff는 마스킹되지 않은 영역에서 샘플링한 초기 시드를 사용하여 마스킹된 데이터 분포를 모방함으로써, 디퓨전 절차에 유망한 방향을 설정한다. 또한, 중간 잠재(intermediate latent)에서 심각하게 부조화한 인페인팅을 탐지하고 초기화 사전(initialization prior)의 강도를 동적으로 조정하는 동적 선택적 정제(dynamic selective refinement) 메커니즘을 제안한다. 우리는 CelebA-HQ, ImageNet, Places2 데이터셋을 사용하여 표준 및 대형 마스크 인페인팅 작업 모두에서 본 방법을 검증하였으며, 최신(state-of-the-art) 인페인팅 방법들과 비교하여 모든 지표에서 효과성을 입증하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.