Multi-level Encoder-Decoder Architectures for Image Restoration
원문 초록
Many real-world solutions for image restoration are learning-free and based on handcrafted image priors such as self-similarity. Recently, deep-learning methods that use training data have achieved state-of-the-art results in various image restoration tasks (e.g., super-resolution and inpainting). Ulyanov et al. bridge the gap between these two families of methods (CVPR 18). They have shown that learning-free methods perform close to the state-of-the-art learning-based methods (approximately 1 PSNR). Their approach benefits from the encoder-decoder network. In this paper, we propose a framework based on the multi-level extensions of the encoder-decoder network, to investigate interesting aspects of the relationship between image restoration and network construction independent of learning. Our framework allows various network structures by modifying the following network components: skip links, cascading of the network input into intermediate layers, a composition of the encoder-decoder subnetworks, and network depth. These handcrafted network structures illustrate how the construction of untrained networks influence the following image restoration tasks: denoising, super-resolution, and inpainting. We also demonstrate image reconstruction using flash and no-flash image pairs. We provide performance comparisons with the state-of-the-art methods for all the restoration tasks above.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저
Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
GCRDN: Global Context-Driven Residual Dense Network for Remote Sensing Image Superresolution
SAR Image Despeckling Using Continuous Attention Module
Color Image Restoration Exploiting Inter-channel Correlation with a 3-stage CNN
깊이 조건부 적응을 통한 참조 효율적인 멀티모달 비트스트림 손상 비디오 복원
Reference-Efficient Multimodal Bitstream-Corrupted Video Recovery via Depth-Conditioned Adaptation
손상된 비디오 비트스트림에서 시각적으로 충실한 콘텐츠를 복원하는 것은 신뢰할 수 있는 멀티미디어 통신 및 저장에 매우 중요합니다. 기존 방식들은 입력 비디오 시퀀스의 국소적 잔차(local residuals)와 비국소적(non-local) RGB 참조를 활용하지만, 두 원천 모두 디코딩 후 신뢰할 수 없게 될 수 있으며, 추가적인 참조를 처리하는 것은 수신측의 연산 및 메모리 부담을 증가시킵니다. 본 논문에서는 수신된 외관 정보가 손상되었을 때 전송 전 깊이(depth) 기반 기하학적 정보가 재구성을 돕는 RGB 및 깊이 정보를 활용한 멀티모달 비트스트림 손상 비디오 복원(MBSCVR)을 연구합니다. 우리는 더 높은 성능을 달성하기 위해 복원 윈도우당 단 하나의 선택된 비국소적 RGB 참조만을 선별하여 효과적으로 활용하는 새로운 MBSCVR 프레임워크를 제안합니다. 이 프레임워크는 참조 인코딩 전에 유효한 외관 정보와 깊이 호환성을 결합하는 신뢰성 인식 멀티모달 선택기를 통합합니다. 깊이 조건부 참조 적응(DCRA)은 선택된 RGB 단서를 특징(feature) 완성 및 콘텐츠 생성에 도입하는 한편, 프레임 정렬된 깊이는 완성 쿼리를 조건화합니다. 오라클 마스크를 적용한 완전한 BSCV 벤치마크에서, MBSCVR은 단 하나의 선택된 참조만을 사용하여 YouTube-VOS에서 32.30 dB, DAVIS에서 28.93 dB를 달성함으로써 전체 참조를 사용하는 B2SCVR을 각각 0.27 dB 및 0.33 dB 앞서고 두 서브셋 모두에서 SSIM을 향상시켰습니다. 동일 조건의 수신측 순방향 측정 결과에서는 지연 시간이 36.8% 감소하고 최대 메모리가 40.8% 감소한 것으로 나타났습니다. 이러한 결과는 간결한 기하학적 유도와 적응형 외관 처리가 멀티미디어 복원의 품질과 자원 간의 절충(trade-off)을 어떻게 개선하는지 보여줍니다.
운영 영역 전반에 걸친 다중 스케일 플라즈마 동역학 재구성
Reconstruction of Multiscale Plasma Dynamics Across Operating Regimes
적은 수의 센서로부터 공간적으로 분해된 플라즈마 동역학을 재구성하는 것은 진단, 축소 모델링(reduced-order modelling) 및 제어에 필수적이지만, 희소한 측정값이 다중 스케일이면서 영역에 의존적인 자유도를 불완전하게 제약하기 때문에 여전히 어려운 과제로 남아 있다. Shallow Recurrent Decoder(SHRED)는 측정 이력(measurement history)을 활용하여 공간적 희소성(sparsity) 문제를 부분적으로 해결하지만, 완전 연결(fully connected) 디코더는 스케일 전반에 걸친 공간 구조를 해석하거나 명시적인 매개변수(parameter) 의존성을 다루는 명시적 메커니즘을 제공하지 않는다. 본 연구에서는 Recurrent Multiscale Affine-modulated Inference Network(ReMAIN)를 제안한다. 이는 SHRED의 순환적(recurrent) 시간 인코딩을 유지하면서도, 디코더를 U-Net으로 대체하여 특징(feature) 계층 구조가 특징별 선형 변조(feature-wise linear modulation)를 통해 순환 상태(recurrent state)에 의해 조건화되도록 한다. 시간적 표현(temporal representation)은 U-Net 전반에 걸쳐 조밀한 사전 정보(dense prior)와 스케일별 변조를 동시에 제공한다. 매개변수적 확장(parametric extension)은 운영 조건과 센서 이력을 함께 임베딩하여, 지배 동역학이 운영 영역(operating regime)에 따라 변화할 때 재구성이 이에 적응할 수 있도록 한다. ReMAIN은 먼저 다양한 동역학을 대표하는 6개의 1차원 비선형 편미분방정식(PDE)에 대해 SHRED와 벤치마크(benchmark) 비교된다. 모든 벤치마크에서 ReMAIN은 미학습(unseen) 궤적에 대한 재구성 오차를 줄이고, 급격한 전환(sharp transition), 국소 극값(localized extrema), 미세 스케일 변화를 더 충실하게 해석한다. 이후 매개변수 조건화 모델(parameter-conditioned model)은 수직 축방향 전기장과 반경 방향 자기장을 받는 무충돌(collisionless) E × B 플라즈마에 대해 시연되며, 이때 전기장 강도가 운영 매개변수(operating parameter) 역할을 한다. ReMAIN은 고차원의 다중 스케일 플라즈마 상태를 재구성하며, 학습(training)에서 제외된 전기장 강도에서도 영역에 의존적인 시공간적 동역학을 복원한다. 종합적으로, ReMAIN은 희소 센서 기반의 전체 상태 재구성을 개선하며, 매개변수 조건화를 통해 플라즈마 운영 영역 전반에 걸쳐 일반화된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.