Image Deblurring using GAN
원문 초록
In recent years, deep generative models, such as Generative Adversarial Network (GAN), has grabbed significant attention in the field of computer vision. This project focuses on the application of GAN in image deblurring with the aim of generating clearer images from blurry inputs caused by factors such as motion blur. However, traditional image restoration techniques have limitations in handling complex blurring patterns. Hence, a GAN-based framework is proposed as a solution to generate high-quality deblurred images. The project defines a GAN model in Tensorflow and trains it with GoPRO dataset. The Generator will intake blur images directly to create fake images to convince the Discriminator which will receive clear images at the same time and distinguish between the real image and the fake image. After obtaining the trained parameters, the model was used to deblur motion-blur images taken in daily life as well as testing set for validation. The result shows that the pretrained network of GAN can obtain sharper pixels in image, achieving an average of 29.3 Peak Signal-to-Noise Ratio (PSNR) and 0.72 Structural Similarity Assessment (SSIM). This help to effectively address the challenges posed by image blurring, leading to the generation of visually pleasing and sharp images. By exploiting the adversarial learning framework, the proposed approach enhances the potential for real-world applications in image restoration.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Revitalizing Convolutional Network for Image Restoration
Single Stage Adaptive Multi-Attention Network for Image Restoration
Image Restoration via Frequency Selection
파인튜닝된 Cycle-Consistent Adversarial Network를 활용한 치과 CBCT 비지도 금속 아티팩트 감소
Unsupervised Metal Artifact Reduction in Dental CBCT using Fine-tuned Cycle-Consistent Adversarial Networks
치과 임플랜트로 인해 발생하는 금속 아티팩트는 원뿔 빔 컴퓨터 단층촬영(cone-beam computed tomography, CBCT) 볼륨의 품질을 크게 저하시켜, 중요한 해부학적 구조를 가리고 진단 정밀도를 훼손한다. 이를 해결하기 위해, 고충실도 복원에 최적화된 사이클 일관 적대적 네트워크(Cycle-Consistent Adversarial Network, CycleGAN)를 활용한 금속 아티팩트 감소(Metal Artifact Reduction, MAR)를 위한 비지도 심층 학습 프레임워크가 제안되었다. 달성 불가능한 복셀 정렬 페어 데이터셋에 의존하는 지도 학습 방법과 달리, 제안된 접근법은 공개 ToothFairy 데이터셋에서 큐레이션한 약 4,000장의 비페어 데이터셋을 활용한다. 해당 아키텍처는 U-Net 기반 생성기와 PatchGAN 판별기를 통합하며, 생성적 환각을 완화하고 형태학적 무결성을 보존하도록 특별히 튜닝되었다. 홀드아웃 테스트 세트에 대한 정량적 벤치마킹은 Blind/Referenceless Image Spatial Quality Evaluator(BRISQUE) 점수에서 34.6%의 개선, Fréchet Inception Distance(FID)의 207.03에서 157.04로의 상당한 감소, 그리고 0.9105의 우수한 Structural Similarity Index Measure(SSIM)을 보여준다. 해당 프레임워크는 슬라이스당 3.03 ms의 추론 시간으로 실시간 효율성을 달성하며, 해부학적 세부를 보존하면서 아티팩트를 효과적으로 억제한다. 전문가 검증은 높은 충실도를 확인했으나, 극단적인 경우의 신뢰성을 보장하기 위해 해당 아키텍처는 human-in-the-loop 감독 하의 임상 의사결정 지원 도구로 사용할 것을 권장한다. 확장 가능한 소프트웨어 파이프라인을 통해 진단 명확성을 향상시킴으로써, 본 연구는 고충실도 치과 임플랜트 영상화를 위한 견고한 해결책을 제공한다.
디포커스 디블러링을 위한 RealDefocus 벤치마크
The RealDefocus Benchmark for Defocus Deblurring
단일 이미지 디포커스 디블러링(SIDD)은 단일 디포커스 관측 이미지로부터 초점이 맞춰진(all-in-focus) 이미지를 복원하는 것을 목표로 하지만, 잘 정렬된 디포커스/선명(sharp) 쌍과 표준화된 프로토콜을 갖춘 사실적 고해상도 데이터셋이 부족하여 엄격하고 재현 가능한 평가는 여전히 어렵다. 본 연구는 Bokeh Rendering을 위해 처음 제안된 실세계 RealBokeh 데이터셋에서 파생된 벤치마크인 RealDefocus를 기반으로 한다. RealDefocus는 디포커스 입력과 선명한 ground truth 이미지 쌍, 사전 정의된 학습/검증/테스트 분할, 이미지 복원(image restoration) 및 신경 렌더링(neural rendering) 접근법을 비교하기 위한 통합 평가 프레임워크를 제공한다. 또한 재구성 품질과 일반화(generalization)를 평가하기 위해 교차-데이터셋 검증(cross-dataset validation)을 포함한 벤치마킹 프로토콜을 제시한다. 프로젝트 페이지는 www.github.com/TimSeizinger/RealDefocus-Benchmark에서 공개적으로 이용할 수 있다.
JADE-GS: 3D Gaussian Splatting에서 이벤트로 안내된 교대 블러 제거
JADE-GS: Joint Alternating Deblurring Guided by Events in 3D Gaussian Splatting
노출 중 카메라가 빠르게 움직이면, 블러는 선명한 장면을 복원하는 데 3D 모델이 필요로 하는 노출 내(intra-exposure) 움직임을 파괴하지만, 이벤트 카메라는 마이크로초(microsecond) 해상도로 바로 이 신호를 포착한다. 이를 신뢰할 수 있는 3D 지도(supervision)로 활용하려면 두 가지 장애물에 직면한다. 첫째, 두 가지 복원 사전(prior)이 상반된 방식으로 실패한다: 물리 기반 이벤트 적분(integration) 사전은 에지를 보존하지만 드리프트(drift)가 누적되고, 학습된 네트워크는 질감(texture)은 복구하지만 경계를 왜곡한다. 둘째, 기존 파이프라인은 한 방향으로만 동작하므로, 원시 이벤트 노이즈나 고정된 2D 의사 레이블(pseudo-label)의 편향(bias)이 보정 없이 기하(geometry)로 전달된다. JADE-GS는 두 문제를 모두 해결한다: 픽셀 적응형 라우팅 게이트(pixel-adaptive routing gate)가 상호 보완적 사전을 융합하고, 그로부터 얻은 2D 복원기(restorer)는 양방향 루프에서 3D Gaussian Splatting 학생(student) 모델과 결합된다. 여기서 분리된(detached) 다중 시점 일관 렌더링(multi-view-consistent renders)과 물리 기반 재블러(reblurring) 제약이 복원기를 정규화(regularize)하여 고정 전처리기(preprocessor)를 기하 인식(geometry-aware) 예측기로 전환한다. 합성 및 실제 벤치마크(benchmark) 전반에서 JADE-GS는 최고의 지각(perceptual) 품질을 달성하여 두 벤치마크 모두에서 LPIPS와 CLIP-IQA를 선도하고 PSNR과 SSIM은 경쟁력 있는 수준을 보이며, 단일 소비자 GPU에서 5GB 미만으로 약 1시간 만에 학습(training)되면서 실시간 렌더링을 유지한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.