arXiv:1810.12864

Image Restoration using Total Variation Regularized Deep Image Prior

Jiaming Liu, Yu Sun, Xiaojian Xu, Ulugbek S. Kamilov

제출 2018-10-30

원문 초록

In the past decade, sparsity-driven regularization has led to significant improvements in image reconstruction. Traditional regularizers, such as total variation (TV), rely on analytical models of sparsity. However, increasingly the field is moving towards trainable models, inspired from deep learning. Deep image prior (DIP) is a recent regularization framework that uses a convolutional neural network (CNN) architecture without data-driven training. This paper extends the DIP framework by combining it with the traditional TV regularization. We show that the inclusion of TV leads to considerable performance gains when tested on several traditional restoration tasks such as image denoising and deblurring.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22390v1eess.IV공통 태그 Image Reconstruction, Image Denoising, Image Restoration

SENSE 가속 뇌 MRI에서 해부학적으로 충실한 아티팩트 억제

Anatomically Faithful Artifact Suppression in SENSE Accelerated Brain MRI

배경: 4배 가속 sensitivity encoding(SENSE4)은 뇌 MRI 촬영 시간을 단축할 수 있으나, 노이즈를 증폭하고 기존 재구성 후 잔여 aliasing 아티팩트가 남을 수 있다. 목적: 이미지 도메인 정제(refinement) 프레임워크가 정량 측정에 필요한 해부학적 정보를 보존하면서 SENSE4 뇌 MRI 품질을 개선할 수 있는지 평가한다. 방법: 본 전향적 paired 연구에서 80명의 참가자가 fully sampled 및 4배 가속 SENSE T1-weighted MRI를 시행했다. 우리는 generalized self-attention과 상관 기반 잔차 아티팩트 정규화(regularization)를 통해 가속 재구성을 정제하는 Anatomy-aware Residual Attention Network(ART-Net)를 개발했다. 참가자 단위 분할로 학습, 검증, 독립 시험 코호트(45/5/30명)를 구성했다. 독립 시험 코호트에 대해 이미지 품질 및 해부학적 보존에 대한 정량, 분할 기반, 맹검 방사선과 평가를 시행했다. 결과: ART-Net은 평가된 방법 중 최고 수준의 재구성 성능을 보였으며, peak signal-to-noise ratio(31.03 +/- 2.88 dB)와 structural similarity index(0.963 +/- 0.022)를 달성했다. 또한 해부학적 충실도가 개선되어, 위축(atrophy) 평가와 관련된 medial temporal 구조(0.8824 +/- 0.0827) 및 whole-brain 영역(0.8857 +/- 0.0885)에 대해 수치상 최고 Dice 계수를 보였다. 더불어 ART-Net은 그래디언트(gradient) 충실도, 국소 대비 보존, 방사선과가 평가한 구조적 품질을 개선했다. 결론: ART-Net은 단일 기관 held-out 시험 코호트에서 SENSE4와 fully sampled T1-weighted 영상 간 일치를 개선하면서 분할 기반 해부학적 측정을 유지했다. 이러한 결과는 ART-Net이 영상 충실도를 높이고 신뢰할 수 있는 하위 해부학적 분석을 가능하게 함으로써 가속 뇌 MRI를 지원할 수 있음을 시사한다.

arXiv:2609.22789v1cs.CV공통 태그 Image Reconstruction, Denoising, Image Denoising

PixelART: 잠재 표현 또는 텍스트-이미지 사전학습 없이 이미지-층 분해

PixelART: Image-to-Layer Decomposition without Latents or Text-to-Image Pretraining

이미지-층 분해는 평탄화된 이미지를 편집 가능한 RGBA 층으로 변환하여 디자인 워크플로에서 요소 단위 편집을 가능하게 한다. 기존 확산(diffusion) 기반 시스템은 일반적으로 대규모 사전학습된 텍스트-이미지(T2I) 모델을 적응시키고 RGBA 오토인코더 또는 가변 층 아키텍처 모듈을 도입한다. 우리는 이 설계 선택을 재검토하며, 층 분해가 정말로 이러한 고중량 구성 요소를 필요로 하는지 묻는다. 우리는 이미지-층(I2L) 분해를 위해 처음부터 학습된 픽셀 공간 rectified-flow 트랜스포머인 PixelART를 제안한다. PixelART는 단일 스트림 멀티모달 확산 트랜스포머로 영역 RGBA 픽셀 패치를 직접 디노이징하며, RGBA-VAE, 사전학습 T2I 백본, 층별 디코더를 사용하지 않는다. 우리는 이 과제의 핵심 특성을 밝힌다. 고노이즈 타임스텝은 층 할당과 거친 층 구조를 결정하고, 저노이즈 타임스텝은 주로 색상, 알파, 텍스처, 경계를 정제한다. 이 관찰에 기반하여 고노이즈 층 할당 구간에서 학습 커버리지를 높이기 위해 terminal-boosted 타임스텝 샘플링 전략을 제안한다. 400만 개의 다층 디자인 템플릿으로 학습된 PixelART는 Design-Multi-Layer-Bench와 LICA에서 최근 Qwen-Image-Layered 모델 대비 파라미터 80% 이상 감소, 지연 시간 98% 감소, 메모리 85% 감소로 최첨단 층 분해 및 합성 재구성 성능을 달성한다. Ablation 실험은 픽셀 공간 $\mathbf{x}$-prediction, terminal-boosted 타임스텝 샘플링, 데이터/모델 스케일링이 핵심적임을 보여 주며, T2I 사전학습은 I2L 과제에 미미한 이득만 가져온다.

arXiv:2607.22765v1eess.IV공통 태그 Image Reconstruction, Denoising, Image Restoration

전자현미경 이미징에서 현실감과 충실도의 균형을 위한 주파수 인식 이중 스트림 학습

Frequency-Aware Dual-Stream Learning for Balanced Realism and Fidelity in Electron Microscopy Imaging

전자현미경은 나노 스케일의 세포 시각화를 가능하게 하지만, 이미징 해상도와 획득 속도 사이의 트레이드오프에 직면한다. 기존 학습 기반 방법은 단일 스트림 아키텍처에 의존하며, 지각적 현실감과 정량적 충실도 사이의 균형을 맞추는 데 어려움을 겪어, 세부를 과도하게 평활화하거나 비현실적인 환각을 생성한다. 본 연구는 이 갈등을 해결하기 위해 주파수 적응형 이중 스트림 아키텍처를 제안한다. 이산 웨이블릿 변환(discrete wavelet transform)을 사용하여 이미지를 저주파 구조와 고주파 세부로 분해한 다음, 현실적인 전역 합성을 위해 조건부 확산 모델(conditional diffusion model)을, 정밀한 세부 복원을 위해 트랜스포머 네트워크를 사용한다. EMDiffuse 데이터셋에서의 실험은 본 방법이 우수한 LPIPS와 resolution ratio를 달성하며, 기존 접근법을 크게 능가함을 보여준다. 본 방법은 또한 다양한 생물학적 샘플에 걸쳐 강한 일반화를 보이며, 구조 생물학 및 나노기술 응용을 위한 빠르고 신뢰할 수 있는 전자현미경 이미징을 지원한다. 소스 코드와 관련 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.