The tradeoff between receptive field size and efficiency is a crucial issue in low level vision. Plain convolutional networks (CNNs) generally enlarge the receptive field at the expense of computational cost. Recently, dilated filtering has been adopted to address this issue. But it suffers from gridding effect, and the resulting receptive field is only a sparse sampling of input image with checkerboard patterns. In this paper, we present a novel multi-level wavelet CNN (MWCNN) model for better tradeoff between receptive field size and computational efficiency. With the modified U-Net architecture, wavelet transform is introduced to reduce the size of feature maps in the contracting subnetwork. Furthermore, another convolutional layer is further used to decrease the channels of feature maps. In the expanding subnetwork, inverse wavelet transform is then deployed to reconstruct the high resolution feature maps. Our MWCNN can also be explained as the generalization of dilated filtering and subsampling, and can be applied to many image restoration tasks. The experimental results clearly show the effectiveness of MWCNN for image denoising, single image super-resolution, and JPEG image artifacts removal.
We propose a novel architecture that learns an end-to-end mapping function to improve the spatial resolution of the input natural images. The model is unique in forming a nonlinear combination of three traditional interpolation techniques using the convolutional neural network. Another proposed architecture uses a skip connection with nearest neighbor interpolation, achieving almost similar results. The architectures have been carefully designed to ensure that the reconstructed images lie precisely in the manifold of high-resolution images, thereby preserving the high-frequency components with fine details. We have compared with the state of the art and recent deep learning based natural image super-resolution techniques and found that our methods are able to preserve the sharp details in the image, while also obtaining comparable or better PSNR than them. Since our methods use only traditional interpolations and a shallow CNN with less number of smaller filters, the computational cost is kept low. We have reported the results of two proposed architectures on five standard datasets, for an upscale factor of 2. Our methods generalize well in most cases, which is evident from the better results obtained with increasingly complex datasets. For 4-times upscaling, we have designed similar architectures for comparing with other methods.
Recently, deep neural networks have achieved impressive performance in terms of both reconstruction accuracy and efficiency for single image super-resolution (SISR). However, the network model of these methods is a fully convolutional neural network, which is limit to exploit the differentiated contextual information over the global region of the input image because of the weight sharing in convolution height and width extent. In this paper, we discuss a new SISR architecture where features are extracted in the low-resolution (LR) space, and then we use a fully connected layer which learns an array of differentiated upsampling weights to reconstruct the desired high-resolution (HR) image from the final obtained LR features. By doing so, we effectively exploit the differentiated contextual information over the whole input image region, whilst maintaining the low computational complexity for the overall SR operations. In addition, we introduce an edge difference constraint into our loss function to preserve edges and texture structures. Extensive experiments validate that our SISR method outperforms the existing state-of-the-art methods.
Recent years have witnessed the unprecedented success of deep convolutional neural networks (CNNs) in single image super-resolution (SISR). However, existing CNN-based SISR methods mostly assume that a low-resolution (LR) image is bicubicly downsampled from a high-resolution (HR) image, thus inevitably giving rise to poor performance when the true degradation does not follow this assumption. Moreover, they lack scalability in learning a single model to non-blindly deal with multiple degradations. To address these issues, we propose a general framework with dimensionality stretching strategy that enables a single convolutional super-resolution network to take two key factors of the SISR degradation process, i.e., blur kernel and noise level, as input. Consequently, the super-resolver can handle multiple and even spatially variant degradations, which significantly improves the practicability. Extensive experimental results on synthetic and real LR images show that the proposed convolutional super-resolution network not only can produce favorable results on multiple degradations but also is computationally efficient, providing a highly effective and scalable solution to practical SISR applications.
Deep neural networks have achieved remarkable success in single image super-resolution (SISR). The computing and memory requirements of these methods have hindered their application to broad classes of real devices with limited computing power, however. One approach to this problem has been lightweight network architectures that bal- ance the super-resolution performance and the computation burden. In this study, we revisit this problem from an orthog- onal view, and propose a novel learning strategy to maxi- mize the pixel-wise fitting capacity of a given lightweight network architecture. Considering that the initial capacity of the lightweight network is very limited, we present an adaptive importance learning scheme for SISR that trains the network with an easy-to-complex paradigm by dynam- ically updating the importance of image pixels on the basis of the training loss. Specifically, we formulate the network training and the importance learning into a joint optimization problem. With a carefully designed importance penalty function, the importance of individual pixels can be gradu- ally increased through solving a convex optimization problem. The training process thus begins with pixels that are easy to reconstruct, and gradually proceeds to more complex pixels as fitting improves.
Many classic methods have shown non-local self-similarity in natural images to be an effective prior for image restoration. However, it remains unclear and challenging to make use of this intrinsic property via deep networks. In this paper, we propose a non-local recurrent network (NLRN) as the first attempt to incorporate non-local operations into a recurrent neural network (RNN) for image restoration. The main contributions of this work are: (1) Unlike existing methods that measure self-similarity in an isolated manner, the proposed non-local module can be flexibly integrated into existing deep networks for end-to-end training to capture deep feature correlation between each location and its neighborhood. (2) We fully employ the RNN structure for its parameter efficiency and allow deep feature correlation to be propagated along adjacent recurrent states. This new design boosts robustness against inaccurate correlation estimation due to severely degraded images. (3) We show that it is essential to maintain a confined neighborhood for computing deep feature correlation given degraded images. This is in contrast to existing practice that deploys the whole image. Extensive experiments on both image denoising and super-resolution tasks are conducted. Thanks to the recurrent non-local operations and correlation propagation, the proposed NLRN achieves superior results to state-of-the-art methods with much fewer parameters.
High-resolution (HR) magnetic resonance images (MRI) provide detailed anatomical information important for clinical application and quantitative image analysis. However, HR MRI conventionally comes at the cost of longer scan time, smaller spatial coverage, and lower signal-to-noise ratio (SNR). Recent studies have shown that single image super-resolution (SISR), a technique to recover HR details from one single low-resolution (LR) input image, could provide high-quality image details with the help of advanced deep convolutional neural networks (CNN). However, deep neural networks consume memory heavily and run slowly, especially in 3D settings. In this paper, we propose a novel 3D neural network design, namely a multi-level densely connected super-resolution network (mDCSRN) with generative adversarial network (GAN)-guided training. The mDCSRN quickly trains and inferences and the GAN promotes realistic output hardly distinguishable from original HR images. Our results from experiments on a dataset with 1,113 subjects show that our new architecture beats other popular deep learning methods in recovering 4x resolution-downgraded im-ages and runs 6x faster.
Many inverse problems involve two or more sets of variables that represent different physical quantities but are tightly coupled with each other. For example, image super-resolution requires joint estimation of the image and motion parameters from noisy measurements. Exploiting this structure is key for efficiently solving these large-scale optimization problems, which are often ill-conditioned. In this paper, we present a new method called Linearize And Project (LAP) that offers a flexible framework for solving inverse problems with coupled variables. LAP is most promising for cases when the subproblem corresponding to one of the variables is considerably easier to solve than the other. LAP is based on a Gauss-Newton method, and thus after linearizing the residual, it eliminates one block of variables through projection. Due to the linearization, this block can be chosen freely. Further, LAP supports direct, iterative, and hybrid regularization as well as constraints. Therefore LAP is attractive, e.g., for ill-posed imaging problems. These traits differentiate LAP from common alternatives for this type of problem such as variable projection (VarPro) and block coordinate descent (BCD). Our numerical experiments compare the performance of LAP to BCD and VarPro using three coupled problems whose forward operators are linear with respect to one block and nonlinear for the other set of variables.
This work identifies and addresses two important technical challenges in single-image super-resolution: (1) how to upsample an image without magnifying noise and (2) how to preserve large scale structure when upsampling. We summarize the techniques we developed for our second place entry in Track 1 (Bicubic Downsampling), seventh place entry in Track 2 (Realistic Adverse Conditions), and seventh place entry in Track 3 (Realistic difficult) in the 2018 NTIRE Super-Resolution Challenge. Furthermore, we present new neural network architectures that specifically address the two challenges listed above: denoising and preservation of large-scale structure.
Image generation has been successfully cast as an autoregressive sequence generation or transformation problem. Recent work has shown that self-attention is an effective way of modeling textual sequences. In this work, we generalize a recently proposed model architecture based on self-attention, the Transformer, to a sequence modeling formulation of image generation with a tractable likelihood. By restricting the self-attention mechanism to attend to local neighborhoods we significantly increase the size of images the model can process in practice, despite maintaining significantly larger receptive fields per layer than typical convolutional neural networks. While conceptually simple, our generative models significantly outperform the current state of the art in image generation on ImageNet, improving the best published negative log-likelihood on ImageNet from 3.83 to 3.77. We also present results on image super-resolution with a large magnification ratio, applying an encoder-decoder configuration of our architecture. In a human evaluation study, we find that images generated by our super-resolution model fool human observers three times more often than the previous state of the art.
Image super-resolution (SR) methods essentially lead to a loss of some high-frequency (HF) information when predicting high-resolution (HR) images from low-resolution (LR) images without using external references. To address this issue, we additionally utilize online retrieved data to facilitate image SR in a unified deep framework. A novel dual high-frequency recovery network (DHN) is proposed to predict an HR image with three parts: an LR image, an internal inferred HF (IHF) map (HF missing part inferred solely from the LR image) and an external extracted HF (EHF) map. In particular, we infer the HF information based on both the LR image and similar HR references which are retrieved online. For the EHF map, we align the references with affine transformation and then in the aligned references, part of HF signals are extracted by the proposed DHN to compensate for the HF loss. Extensive experimental results demonstrate that our DHN achieves notably better performance than state-of-the-art SR methods.
학습(training) 기반 실시간 슈퍼샘플링(supersampling)은 모션 벡터(motion vector)를 따라 지터링된(jittered) 저해상도 샘플들을 누적합니다. 많은 방법들이 깜빡임(flicker)을 줄이기 위해 시간적 일관성 손실(temporal consistency loss)을 사용합니다. 본 연구는 정확한 정합(registration)이 주어지면 이 손실이 누적을 억제할 수 있음을 보여줍니다. 정적 콘텐츠에서 네트워크는 거의 시간적 비용 없이 워핑된 히스토리를 그대로 복사합니다. 모션 벡터의 카메라 지터는 이 비용을 높여 해당 효과를 감출 수 있습니다. 본 논문에서는 학습 과정에서 은폐될 수 있는 네 가지 정합 오차로 지터를 포함하는 모션 벡터, 두 해상도 격자 모두에 사용되는 단일 모션 필드, 지터링된 깊이(depth), 정합되지 않은 스킵 경로(skip path)를 식별합니다. 모델(model) 프리 오라클을 통해 정확한 정합이 정적 픽셀에서 동결(freezing) 비용을 2차수(two orders of magnitude) 더 낮춘다는 것을 입증합니다. 제어된 학습 실험에서는 정합이 PSNR에 미치는 시간적 가중치(weight)의 영향을 반전시키는 것으로 나타났습니다. 정확한 정합 하에서 가중치를 늘리면 정확도와 인지 품질을 희생하면서 픽셀 분산을 줄이며, 가중치 0.25에서 정적 프레임의 손실이 0.7~0.9 dB에 달합니다. 이러한 반전 현상은 세 가지 네트워크 제품군과 두 가지 스케일 전반에서 반복되며, 해당 손실은 지터가 없는 STSS 데이터에서도 정확도를 저하시킵니다. 작은 시간적 가중치와 정규화된 샘플 누적기를 결합한 단순 정합 네트워크는 1080p로의 $\times$2, $\times$3, $\times$4 업스케일링에서 기존에 발표된 최고 QRISP PSNR 대비 0.34~0.62 dB 향상된 성능을 보여줍니다. $\times$2에서 정적 픽셀 표준편차는 DLSS 2의 1/4 수준입니다. 재학습 없이도 Arm의 지터링된 Bistro 캡처에서 고전적 시간적 업샘플링 대비 최소 4.4 dB 뛰어난 성능을 보입니다. 가장 정확한 $\times$4 모델은 H200에서 1080p 프레임당 2.03 ms로 구동됩니다. 코드: https://github.com/CV-AC/Frozen_history
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
참조 기반 생성(예: 객체 합성, 커스터마이징)은 빠르게 발전해 왔으나, 기존 파이프라인들은 근본적인 한계를 공유합니다. 사용자가 제공한 객체 중심의 고해상도 참조 이미지(HRRI)가 모델에 입력되기 전에 고정된 저해상도(LR)로 다운샘플링되어, 출력이 생성되기도 전에 미세한 세부 정보가 버려진다는 점입니다. 게다가 생성 단계에서는 이러한 정보 손실 위에 고유한 아티팩트(예: 정체성 왜곡)가 추가로 발생합니다. 기존의 참조 기반 생성 콘텐츠 정제(RefGCR) 방식은 이러한 아티팩트 중 일부를 보정할 수 있지만 여전히 저해상도 영역에서 작동하며, 참조 기반 초해상화(RefSR) 방식은 해상도를 복원하지만 자연 이미지 열화를 가정하여 생성 파이프라인의 아티팩트 분포를 무시합니다. 이러한 두 가지 한계를 단일 프레임워크에서 해결하기 위해, 본 논문에서는 원본 HRRI를 후처리 단계에서 재사용하여 손실된 세부 정보를 복원하고, 생성 아티팩트를 정제하며, 출력을 동시에 업스케일링하는 새로운 태스크인 참조 기반 생성 콘텐츠 초해상화-정제(RefGC-SR$^2$)를 제안합니다. 우리는 이 RefGC-SR$^2$ 태스크를 위해 최초의 실제 삼중항(triplet) 데이터 생성 파이프라인을 구축하고, 공개된 사전학습 모델이 제공할 수 없는 쌍을 이루는 저품질 앵커를 합성하도록 딥틱 조건부 생성기를 학습시킵니다. 나아가 생성 아티팩트를 제거하면서 HRRI의 미세 세부 정보를 선택적으로 주입하는 RefGC-SR$^2$용 주파수 인식 확산 트랜스포머(diffusion transformer) 모델을 제시합니다. 광범위한 실험을 통해 제안하는 RefGC-SR$^2$ 모델이 (i) 참조 이미지에 충실하게 객체 정체성을 정제하고, (ii) 고해상도 세부 정보를 성공적으로 복원하여, 기존 RefGCR 및 RefSR 베이스라인과 비교해 최종 결과물이 현저히 높은 품질과 실질적인 활용성을 보임을 입증합니다.
심각한 부적절성(ill-posed)을 지닌 이미징 역문제(inverse problem)를 해결하기 위해서는 측정치로부터 관측할 수 없거나 약하게 제약된 이미지 구조를 복원해야 합니다. 확산 모델(diffusion model)은 이러한 누락된 정보를 추론(inference)하기 위한 표현력 있는 학습 기반 사전 분포(prior)를 제공하며, 사후 확률 샘플링(posterior sampling)은 역과정(reverse process) 전반에 걸쳐 측정 일관성(measurement consistency)을 결합합니다. 그러나 표준 확산 사후 확률 샘플러는 이전 사후 교정에 포함된 정보를 명시적으로 활용하지 않고 순간적인 측정 인지 추정치에만 의존합니다. 본 논문에서는 재학습이나 추가적인 디노이저(denoiser) 평가 없이도 연속적인 측정 인지 추정치를 융합하여 관측 불가능한 이미지 구조의 확산 기반 복원을 향상시키는 추론 시점 전략인 연속적 사후 확률 융합 노이즈 제거 확산 영공간 모델(CPF-DDNM)을 제안합니다. 우리는 치역/영공간(range/null-space) 분해를 통해 연속적 융합이 측정치에 의해 결정되는 성분을 보존하면서 사전 분포 기반 영공간 추정치에만 배타적으로 작용함을 보여주는 DDNM 내에서 이 원리를 구현합니다. 이를 통해 CPF-DDNM에 대한 기하학적 해석과 외삽(extrapolative) 영역을 포함하여 최적의 시간 의존적 융합 계수를 특성화하는 국소 오차 분석을 제공합니다. 희소각(sparse-view) 및 모의 저선량 컴퓨터 단층촬영(CT), 의료 영상 초해상도(super-resolution)에 대한 실험 결과, DDNM 대비 일관된 개선과 확산 기반 역문제 해결 모델 대비 경쟁력 있는 성능을 보여줍니다.
본 논문에서는 연속적인 이미지 디코딩을 위한 고정 그리드 국소 스펙트럼 표현인 GB-LSR(Global-Bandwidth Local Spectral Representation)을 제시한다. 이미지 영역은 겹치지 않는 정사각형 패치들로 분할된다. 각 패치는 공유된 합성곱 인코더 특징으로부터 단일 선형 투영을 통해 예측되는 절단된 푸리에 기저 계수를 가지며, 학습 가능한 단일 스칼라 대역폭이 모든 패치와 모든 이미지에 걸쳐 공유된다. 이전의 국소 스펙트럼 디코더와 마찬가지로 연속적인 좌표에서의 디코딩은 스펙트럼 컷오프에 의해 비용이 결정되는 고정 크기 기저 축소 과정이며, GB-LSR은 해당 기저의 대역폭을 고정하는 대신 이를 학습한다. 저자들이 공개한 LIIF, LTE, SRNO 체크포인트를 동일한 RDN 인코더 상에서 비교하여 임의 배율 초해상도 확장 모델인 GB-LSR-Scalar-ASR을 평가하였으며, 모든 방법은 단일 프로토콜로 점수를 매기고 배율당 단일 세션에서 각각 하나의 GPU로 시간을 측정하였다. 본 모델은 4배율에서 LIIF-RDN보다 1.25배 빠르고, 공개 코드가 Urban100에서 15배 더 많은 피크 메모리를 사용하는 SRNO-RDN만큼 빠르다. 인코더가 일치된 세 가지 기준선(baseline) 대비 분포 내에서 PSNR-Y가 0.07~0.79 dB 뒤처지며, SRNO-RDN보다는 평균 0.35 dB 뒤처진다. 국소 앙상블(ensemble)을 제거하면 4배율에서 셀 경계에서 평균 0.22 그레이 레벨(255 기준)의 값 점프가 발생하는 대신, 시드 변동을 넘어서는 PSNR-Y 변화 없이 LIIF-RDN 대비 2.41배, SRNO-RDN 대비 1.95배 빨라지고, 8배율에서는 각각 3.00배와 2.41배 빨라진다. 4배율에서 최근 다섯 가지 방법의 EDSR 기준선 체크포인트와 비교했을 때, GB-LSR-Scalar-ASR은 LMF, SRNO-EDSR, OPE-SR-EDSR 대비 PSNR-Y에서 더 높거나 0.17 dB 이내의 차이를 보였으며(2,202만 개 파라미터 대비 139만~643만 개), GSASR 및 Thera(2,044만 및 585만 개)보다는 0.14~0.57 dB 낮았고, 4배율에서 모든 기준선보다 높은 평균 LPIPS를 기록했다.
플러그 앤 플레이(Plug-and-Play, PnP) 방법은 반복 최적화(optimization) 알고리즘에 딥러닝 기반 디노이저를 통합하여 영상 역문제(inverse problem)를 해결합니다. 실제 구현에서는 반복에 따라 디노이저 노이즈 레벨 $σ$를 점차 감소시키는 경우가 많지만, 기존의 대부분의 수렴 분석은 고정된 디노이저를 가정합니다. 본 연구에서는 결정론적 방법(RED--GD 및 PnP--PGD)과 확률론적 방법(SNORE, 동변 RED, 그리고 PnP--Flow의 변형)을 아우르는, 어닐링된 노이즈 레벨을 갖는 광범위한 플러그 앤 플레이 알고리즘 계열에 대한 수렴 보장을 확립합니다. 각 방법에 대해 최종 디노이징 레벨과 연관된 명시적인 비볼록(nonconvex) 목적 함수를 식별하고, 해당 목적 함수에 대한 반복점들의 점근적 정상성(asymptotic stationarity)을 증명합니다. 우리의 분석은 노이즈 스케줄에 특정한 감쇠율을 강제하지 않으며, 학습된 그래디언트 단계 디노이저와 정확한 MMSE 디노이저를 모두 포함하는 가정을 채택합니다. 전반적으로, 본 연구의 이론적 결과는 기존 PnP 수렴 이론과 최신 영상 복원 기법에서 사용되는 감쇠 디노이징 실무 사이의 간극을 메웁니다. 우리는 이러한 스케줄의 이점을 실험적으로 입증하고, 인페인팅(inpainting), 초해상도(super-resolution), 디모자이킹(demosaicing), 단층촬영(tomography)을 포함한 여러 영상 역문제에서 예측된 수렴 거동을 보여줍니다.
초해상도(Super-Resolution, SR)는 최근 수년간 빠르게 발전해 왔으며, 확산 기반 모델은 전례 없는 충실도를 달성하는 대신 새로운 유형의 시각적 아티팩트를 도입하는 대가를 치른다. 기존 이미지 품질 평가(Image Quality Assessment, IQA) 방법은 종합적인 품질 점수를 제공하지만, 해석 가능성이 부족하고 현대적 SR 접근법에서 발생하는 서로 다른 아티팩트 유형을 구분하지 못한다. 이 공백을 메우기 위해, 우리는 초해상도 이미지에서의 세분화된 아티팩트 분할을 위해 특별히 설계된 대규모 데이터셋인 SR-Ground를 소개한다. 이 데이터셋은 다양한 최신 SR 모델로 처리된 이미지로 구성되며, 여러 아티팩트 범주에 대한 픽셀 수준 주석이 포함되어 있다. 우리는 자동 생성된 분할을 검증하고 정제하기 위해 1,062명의 참가자가 참여한 대규모 크라우드소싱 연구를 수행하여, 6가지 서로 다른 아티팩트 유형을 아우르는 63,000장의 고품질 데이터셋을 구축하였다. SR-Ground에서 그라운딩 능력을 갖춘 IQA 모델을 학습하면 다운스트림 작업의 성능이 크게 향상됨을 보인다. 나아가, 우리의 그라운딩 모델을 활용하여 SR 출력에서 인지 가능한 아티팩트를 줄이는 미세조정 파이프라인을 도입함으로써 데이터셋의 실용적 유용성을 보여준다. 보지 못한 다섯 가지 SR 방법의 출력 1,000개로 구성된 별도 벤치마크에서, 저해상도 참조 그라운딩 모델은 무참조 대비 두드러짐 정렬(prominence alignment)을 크게 개선하며, 고해상도 정답(Ground-Truth)이 없는 저해상도 이미지의 실제 세계 원본 데이터셋에서 가장 우수한 성능을 보인다.
태양 광구 자기력선도의 단일 영상 초해상도(super-resolution)는 이질적인 우주 기반 관측 장비 간 일관된 분석을 가능하게 하며 태양 자기장 진화에 대한 장기 연구를 지원한다. 저해상도 SOHO/MDI에서 고해상도 SDO/HMI 시선 방향(line-of-sight, LOS) 자기력선도로의 초해상도 과제를, ESRGAN 사전학습 가중치로 초기화한 수정 RRDBNet 아키텍처를 사용하여 다룬다. 체계적인 영상별 진단 분석을 통해 재구성 오류의 지배적 예측 변수로서 영상 복잡도를 확인한다. 이 결과를 활용하기 위해 불확실성 추정을 포함한 세 개의 전문 네트워크로 구성된 적응형 계층화 전문가 앙상블(adaptive stratified specialist ensemble, SSE)을 제안한다. 각 전문 네트워크는 가중 무작위 샘플링 전략을 사용하여 세 가지 서로 다른 복잡도 계층의 영상으로 학습된다. 추론 시 입력 영상 통계에 기반한 경량 라우터가 각 테스트 영상을 적절한 전문 네트워크에 할당한다. 실험 결과는 제안한 앙상블의 우수한 성능과 밀접히 관련된 방법들 대비 우월성을 보여준다.
암시적 신경 표현(INR)은 신경망을 활용하여 이미지와 같은 이산 신호를 연속적인 신호로 표현하며, 이때 신경망 가중치는 신호 자체의 압축된 형태 역할을 합니다. 기존의 대부분의 INR 방법은 백본으로 다층 퍼셉트론(MLP)을 채택합니다. 이러한 모델들은 각 픽셀을 독립적으로 렌더링하기 때문에, 이웃한 픽셀 사이에 존재하는 공간적 상관관계를 본질적으로 활용하지 못합니다. 반면, 합성곱(convolutional) INR은 픽셀 간의 의존성을 본질적으로 고려하면서 픽셀을 병렬로 처리할 수 있어 이미지를 표현하는 데 더욱 자연스럽게 부합합니다. 그럼에도 불구하고 합성곱 INR은 상대적으로 덜 연구되었으며, 대부분은 고정된 구조적 설정에 의존하여 이미지 맞춤형 적응을 위한 여지를 거의 남겨두지 않습니다. 본 논문에서는 합성곱 INR을 위한 신경망 맞춤화(network customization)를 연구합니다. 우리는 기존 필터를 비정형 방향성 커널로 대체하며, 이들의 할당은 이미지 스펙트럼의 방향성 에너지에 의해 안내됩니다. 즉, 더 강한 에너지를 나타내는 방향에 더 많은 수의 커널이 할당되어 콘텐츠에 맞춤화된 합성곱 설정을 가능하게 합니다. 이러한 커널들은 우수한 희소 표현을 달성하기 위해 직교 기저(orthogonal basis)를 통해 추가로 재구성됩니다. 나아가, 우리는 각 합성곱 커널에 가장 적합한 활성화 함수를 부여하는 어닐링된 검벨-소프트맥스(Gumbel-Softmax) 기반의 커널 단위 활성화 함수 선택 메커니즘을 도입합니다. 광범위한 실험을 통해 우리의 방법인 C$^{2}$-INR이 표현, 인페인팅, 초해상도를 포함한 광범위한 이미지 처리 작업 전반에서 유사한 매개변수 예산 하에 최첨단 접근법 대비 우수한 성능을 달성함을 입증합니다.