arXiv:2403.06793

Boosting Image Restoration via Priors from Pre-trained Models

Xiaogang Xu, Shu Kong, Tao Hu, Zhe Liu, Hujun Bao

제출 2024-03-11

원문 초록

Pre-trained models with large-scale training data, such as CLIP and Stable Diffusion, have demonstrated remarkable performance in various high-level computer vision tasks such as image understanding and generation from language descriptions. Yet, their potential for low-level tasks such as image restoration remains relatively unexplored. In this paper, we explore such models to enhance image restoration. As off-the-shelf features (OSF) from pre-trained models do not directly serve image restoration, we propose to learn an additional lightweight module called Pre-Train-Guided Refinement Module (PTG-RM) to refine restoration results of a target restoration network with OSF. PTG-RM consists of two components, Pre-Train-Guided Spatial-Varying Enhancement (PTG-SVE), and Pre-Train-Guided Channel-Spatial Attention (PTG-CSA). PTG-SVE enables optimal short- and long-range neural operations, while PTG-CSA enhances spatial-channel attention for restoration-related learning. Extensive experiments demonstrate that PTG-RM, with its compact size ($<$1M parameters), effectively enhances restoration performance of various models across different tasks, including low-light enhancement, deraining, deblurring, and denoising.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13460v2cs.CV공통 태그 Denoising, Image Restoration

LPM: 산업 규모 생성형 비디오 복원

LPM: Industrial-Scale Generative Video Restoration

본 논문은 복잡한 실환경(in-the-wild) 열화 하에서 사실적인(photorealistic) 비디오 복원을 위한 확산 기반 생성 프레임워크인 Large Processing Model(LPM)을 제안한다. 우리가 아는 한, LPM은 산업 규모로 배포된 최초의 생성형 비디오 복원 모델이다. LPM은 대규모 데이터 엔지니어링, 파운데이션 모델 학습, 효율적인 추론을 아우르는 통합 시스템을 통해 사용자 생성 콘텐츠(UGC)의 다양한 열화를 해결한다. 향상된 아키텍처, 점진적 학습 전략, 시간 피라미드(temporal-pyramid) 추론 메커니즘이 공동으로 UGC 플랫폼에서 접하는 넓은 콘텐츠 분포 전반에 걸쳐 임의 길이의 비디오에 대한 고충실도·시간적으로 일관된 복원을 가능하게 한다. LPM은 Kuaishou에 프로덕션으로 배포되었으며, 모델이 처리한 비디오는 전체 시청 시간의 약 45%를 차지하고 주요 체감 품질(quality-of-experience) 지표 전반에서 일관된 개선을 제공한다. 지각적 향상을 넘어 LPM은 상당한 시스템 수준의 이점도 제공한다. 동등한 지각 품질에서 Kuaishou 자체 코덱 대비 비트레이트를 20% 줄여, 연간 대역폭 비용을 수억 규모로 절감한다. 낮은 서빙 비용은 Kling과 같은 제품으로의 통합도 가능하게 하며, 생성형 복원이 대규모 비디오 처리에 실용적이고 확장 가능하며 비용 효율적일 수 있음을 보여준다.

arXiv:2609.28083v1cs.CV공통 태그 Denoising, Image Restoration

ZoomDiff: 듀얼 카메라의 부드러운 줌을 위한 고충실도 확산 모델

ZoomDiff: A High-Fidelity Diffusion Model for Dual-Camera Smooth Zooming

듀얼 카메라 간의 디지털 줌 전환은 기하학적 구조와 색상 일관성에서 눈에 띄는 불연속성을 자주 드러내어 사용자 경험을 저하시킵니다. 최근의 듀얼 카메라 부드러운 줌(dual-camera smooth zoom, DCSZ) 방법들은 DCSZ 데이터에 프레임 보간(frame interpolation, FI) 모델을 미세조정(fine-tuning)하여 이를 완화하고자 하지만, 큰 시점 간 시차(cross-view disparities)와 복잡한 기하학적 변환으로 인해 어려움을 겪습니다. 확산 모델(diffusion model)의 생성적 사전확률(generative prior)이 이 문제를 해결하는 데 적합하다는 점을 고려하여, 본 연구에서는 이를 DCSZ에 적용하는 방안을 탐색합니다. 그러나 기존의 확산 기반 FI 모델을 단순 적용하는 것은 불충분한 조건부 안내(conditional guidance), VAE 인코딩 중의 고주파 정보 손실(loss), 부적절한 시간적 일관성으로 인해 여전히 낮은 충실도의 전환을 생성합니다. 이를 해결하기 위해, 잠재 공간과 픽셀 공간 모두에서 듀얼 카메라 입력을 활용하여 사실적인 전환을 제공하는 고충실도 확산 모델인 ZoomDiff를 제안합니다. 구체적으로, 먼저 기하학적 일관성을 개선하기 위해 다단계 디노이징(denoising) 과정에서 듀얼 이미지 조건부 안내를 강화합니다. 그런 다음 고주파 세부 정보를 복원하기 위해 VAE 인코더의 플로우 정렬(flow-aligned) 다중 스케일 특징을 VAE 디코더에 주입하며, 이때 더욱 매끄러운 전환을 생성하기 위한 플로우 유도 시간적 일관성 감독(supervision)을 도입합니다. 합성 데이터셋과 실제 데이터셋 모두에 대한 광범위한 실험을 통해 ZoomDiff가 정량적 및 정성적 측면에서 최첨단(state-of-the-art) 방법들을 능가함을 입증합니다. 프로젝트 페이지: https://jiayi-hit.github.io/ZoomDiff.github.io/.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.