CT Super-resolution GAN Constrained by the Identical, Residual, and Cycle Learning Ensemble(GAN-CIRCLE)
원문 초록
Computed tomography (CT) is widely used in screening, diagnosis, and image-guided therapy for both clinical and research purposes. Since CT involves ionizing radiation, an overarching thrust of related technical research is development of novel methods enabling ultrahigh quality imaging with fine structural details while reducing the X-ray radiation. In this paper, we present a semi-supervised deep learning approach to accurately recover high-resolution (HR) CT images from low-resolution (LR) counterparts. Specifically, with the generative adversarial network (GAN) as the building block, we enforce the cycle-consistency in terms of the Wasserstein distance to establish a nonlinear end-to-end mapping from noisy LR input images to denoised and deblurred HR outputs. We also include the joint constraints in the loss function to facilitate structural preservation. In this deep imaging process, we incorporate deep convolutional neural network (CNN), residual learning, and network in network techniques for feature extraction and restoration. In contrast to the current trend of increasing network depth and complexity to boost the CT imaging performance, which limit its real-world applications by imposing considerable computational and memory overheads, we apply a parallel $1\times1$ CNN to compress the output of the hidden layer and optimize the number of layers and the number of filters for each convolutional layer. Quantitative and qualitative evaluations demonstrate that our proposed model is accurate, efficient and robust for super-resolution (SR) image restoration from noisy LR input images. In particular, we validate our composite SR networks on three large-scale CT datasets, and obtain promising results as compared to the other state-of-the-art methods.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
RFMSR: 이미지 초해상도를 위한 잔차 플로우 매칭
RFMSR: Residual Flow Matching for Image Super-Resolution
생성형 이미지 초해상도(ISR) 방법은 일반적으로 표준 가우시안 사전분포에서 샘플링하여 이를 데이터 분포로 이동시키며, 이때 저품질(LQ) 입력은 외부 조건으로만 사용된다. 그러나 LQ 이미지는 목표 고품질(HQ) 이미지에 대한 풍부한 구조 정보를 이미 담고 있으므로, LQ 이미지에 근사하는 분포가 더 적합한 출발점이 되며, 이 아이디어는 일련의 확산 기반 복원 방법에서 검증되었다. 반면 최근의 플로 매칭 기반 ISR 방법은 여전히 표준 가우시안 사전분포를 채택하여 이러한 구조적 사전 정보를 버린다. 더욱이 증류나 일관성 훈련과 같은 기존의 단일 단계 가속 기법은 추가 교사 모델에 의존하거나 모델의 다단계 추론 능력을 희생한다. 본 논문에서는 소스 분포를 LQ 잠재 표현을 중심으로 하는 가우시안으로 정의하여 플로가 순수 노이즈가 아닌 LQ 이미지에서 시작하도록 하고 입력에 이미 존재하는 구조적 사전 정보를 보존하는 이미지 초해상도를 위한 잔차 플로 매칭(RFMSR)을 제안한다. 고품질 단일 단계 생성을 달성하기 위해, 단일 단계 출력에 대한 지도 손실과 조건부 플로 매칭(CFM) 손실을 결합한 간단하면서도 효과적인 훈련 전략을 추가로 제안하며, 이를 통해 증류나 기타 가속 기법에 의존하지 않고도 임의의 단계 수로 고품질 복원이 가능하다. 폭넓은 실험을 통해 RFMSR이 최신 방법들과 경쟁력 있는 결과를 달성함을 보인다. 소스 코드는 https://github.com/Faze-Hsw/RFMSR 에서 이용할 수 있다.
NanoVSR: 엣지 디바이스에서의 실시간 비디오 초해상도를 향하여
NanoVSR: Towards Real-Time Video Super-Resolution on Edge Devices
최근 비디오 초해상도(VSR) 방법들은 트랜스포머와 명시적 옵티컬 플로우에 크게 의존하며, 이는 TensorRT와 같은 하드웨어 가속기에의 배포를 저해하는 연산 오버헤드와 커스텀 연산을 야기한다. 이를 해결하기 위해, 우리는 리소스가 제한된 엣지 디바이스를 위해 설계된 확장 가능한 완전 합성곱 아키텍처인 NanoVSR을 소개한다. 구조적 재파라미터화(structural reparameterization)를 활용하여, NanoVSR은 추론 시 표준 합성곱으로 축약되어 원활한 하드웨어 호환성과 무시할 수 있는 수준의 런타임 오버헤드를 보장한다. 또한, 명시적 모션 보상이 없음에도 불구하고, 점진적 학습을 통해 시공간적 정렬을 암묵적으로 학습함으로써 경쟁력 있는 복원 품질을 유지한다. REDS4 벤치마크에서 평가한 결과, NanoVSR은 정확도와 연산 효율성 간의 탁월한 균형을 보여주며, 소형 아키텍처에서의 트레이드오프를 크게 개선한다. NanoVSR-644k 기준선은 NVIDIA Jetson Orin NX 16GB(25W)에서 27.2 FPS를 달성하면서 28.64 dB PSNR을 제공하여, 더 무거운 모델 대비 대폭적인 속도 향상을 제공한다. 확장된 NanoVSR-1.7M 변형은 19.58 FPS의 처리량으로 29.15 dB에 도달하여, 우수한 엣지 최적화 업스케일링을 제공한다. 코드는 https://github.com/filippawlicki/nanovsr 에서 확인할 수 있다.
적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저
Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate
이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.
불확실성 추정을 갖춘 적응형 계층화 앙상블 학습을 통한 태양 자기력선도 초해상도
Super-Resolution of Solar Magnetograms via Adaptive Stratified Ensemble Learning with Uncertainty Estimation
태양 광구 자기력선도의 단일 영상 초해상도(super-resolution)는 이질적인 우주 기반 관측 장비 간 일관된 분석을 가능하게 하며 태양 자기장 진화에 대한 장기 연구를 지원한다. 저해상도 SOHO/MDI에서 고해상도 SDO/HMI 시선 방향(line-of-sight, LOS) 자기력선도로의 초해상도 과제를, ESRGAN 사전학습 가중치로 초기화한 수정 RRDBNet 아키텍처를 사용하여 다룬다. 체계적인 영상별 진단 분석을 통해 재구성 오류의 지배적 예측 변수로서 영상 복잡도를 확인한다. 이 결과를 활용하기 위해 불확실성 추정을 포함한 세 개의 전문 네트워크로 구성된 적응형 계층화 전문가 앙상블(adaptive stratified specialist ensemble, SSE)을 제안한다. 각 전문 네트워크는 가중 무작위 샘플링 전략을 사용하여 세 가지 서로 다른 복잡도 계층의 영상으로 학습된다. 추론 시 입력 영상 통계에 기반한 경량 라우터가 각 테스트 영상을 적절한 전문 네트워크에 할당한다. 실험 결과는 제안한 앙상블의 우수한 성능과 밀접히 관련된 방법들 대비 우월성을 보여준다.
C$^{2}$-INR: 맞춤형 합성곱 암시적 신경 표현
C$^{2}$-INR: Customized Convolutional Implicit Neural Representation
암시적 신경 표현(INR)은 신경망을 활용하여 이미지와 같은 이산 신호를 연속적인 신호로 표현하며, 이때 신경망 가중치는 신호 자체의 압축된 형태 역할을 합니다. 기존의 대부분의 INR 방법은 백본으로 다층 퍼셉트론(MLP)을 채택합니다. 이러한 모델들은 각 픽셀을 독립적으로 렌더링하기 때문에, 이웃한 픽셀 사이에 존재하는 공간적 상관관계를 본질적으로 활용하지 못합니다. 반면, 합성곱(convolutional) INR은 픽셀 간의 의존성을 본질적으로 고려하면서 픽셀을 병렬로 처리할 수 있어 이미지를 표현하는 데 더욱 자연스럽게 부합합니다. 그럼에도 불구하고 합성곱 INR은 상대적으로 덜 연구되었으며, 대부분은 고정된 구조적 설정에 의존하여 이미지 맞춤형 적응을 위한 여지를 거의 남겨두지 않습니다. 본 논문에서는 합성곱 INR을 위한 신경망 맞춤화(network customization)를 연구합니다. 우리는 기존 필터를 비정형 방향성 커널로 대체하며, 이들의 할당은 이미지 스펙트럼의 방향성 에너지에 의해 안내됩니다. 즉, 더 강한 에너지를 나타내는 방향에 더 많은 수의 커널이 할당되어 콘텐츠에 맞춤화된 합성곱 설정을 가능하게 합니다. 이러한 커널들은 우수한 희소 표현을 달성하기 위해 직교 기저(orthogonal basis)를 통해 추가로 재구성됩니다. 나아가, 우리는 각 합성곱 커널에 가장 적합한 활성화 함수를 부여하는 어닐링된 검벨-소프트맥스(Gumbel-Softmax) 기반의 커널 단위 활성화 함수 선택 메커니즘을 도입합니다. 광범위한 실험을 통해 우리의 방법인 C$^{2}$-INR이 표현, 인페인팅, 초해상도를 포함한 광범위한 이미지 처리 작업 전반에서 유사한 매개변수 예산 하에 최첨단 접근법 대비 우수한 성능을 달성함을 입증합니다.
Hidden-Shot: 저수준 비전 제너럴리스트 모델의 원샷 태스크 일반화를 향하여
Hidden-Shot: Towards One-Shot Task Generalization for Low-Level Vision Generalist Models
저수준 비전(low-level vision) 제너럴리스트 모델에 대한 높은 관심에도 불구하고, 학습된 태스크를 넘어선 제로샷/퓨샷 시나리오에서의 효과는 아직 검증되지 않았다. 이상적인 제너럴리스트 개발의 핵심 과제는 새로운 미학습 태스크에 대한 일반화 능력을 갖추는 것이며, 이는 정합된 정량적 기준으로 평가될 수 있다. 기존 방법들은 프롬프트 엔지니어링에서 일부 진전을 이루었으나, 광범위한 저수준 시각 태스크에 걸쳐 이 격차를 체계적으로 탐구하지는 못했다. 이 문제에 착안하여, 우리는 비전 제너럴리스트 모델에서 저수준 태스크 적응을 탐구하기 위한 암묵적 프롬프트 메커니즘인 Hidden-Shot을 제안한다. 구체적으로, 이 방법은 암묵적인 시각 태스크 기반 정보를 추출하고 글로벌 태스크 인식 텍스처 프롬프트를 활용하며, 새로운 태스크에서의 원샷(one-shot) 능력을 향상시키기 위해 암묵적 정보와 태스크 내 처리 정보를 선택적으로 병합한다. 전체 설계는 비용 효율적인 방식의 직접 주입을 수행하면서 원래 제너럴리스트 모델의 아키텍처를 최소한으로 변경한다. 아울러, 우리는 두 가지 기본 시나리오를 포괄하는 데이터 기반 평가 프레임워크인 C/U 평가를 소개한다: 기존 모델 재학습을 위한 3C4U(일반적 태스크 3개, 비일반적 태스크 4개)와 처음부터의 학습을 위한 3C7U(일반적 태스크 3개, 비일반적 태스크 7개)로, 저수준 제너럴리스트 모델의 일반화 능력을 체계적으로 검증하는 종합 평가 체계를 구성한다. 각각 3C4U 및 3C7U 프레임워크로 검증된 7개 및 10개 데이터셋에서의 실험 결과는 최신(state-of-the-art) 비전 제너럴리스트 모델을 능가한다. 제안된 Hidden-Shot 방법은 기존 태스크에서 일관된 성능을 유지하면서 원샷 신규 태스크에서 우월한 성능을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.