arXiv:2411.12278

Versatile Cataract Fundus Image Restoration Model Utilizing Unpaired Cataract and High-quality Images

Zheng Gong, Zhuo Deng, Weihao Gao, Wenda Zhou, Yuhang Yang, Hanqing Zhao, Zhiyuan Niu, Lei Shao, Wenbin Wei, Lan Ma

제출 2024-11-19

원문 초록

Cataract is one of the most common blinding eye diseases and can be treated by surgery. However, because cataract patients may also suffer from other blinding eye diseases, ophthalmologists must diagnose them before surgery. The cloudy lens of cataract patients forms a hazy degeneration in the fundus images, making it challenging to observe the patient's fundus vessels, which brings difficulties to the diagnosis process. To address this issue, this paper establishes a new cataract image restoration method named Catintell. It contains a cataract image synthesizing model, Catintell-Syn, and a restoration model, Catintell-Res. Catintell-Syn uses GAN architecture with fully unsupervised data to generate paired cataract-like images with realistic style and texture rather than the conventional Gaussian degradation algorithm. Meanwhile, Catintell-Res is an image restoration network that can improve the quality of real cataract fundus images using the knowledge learned from synthetic cataract images. Extensive experiments show that Catintell-Res outperforms other cataract image restoration methods in PSNR with 39.03 and SSIM with 0.9476. Furthermore, the universal restoration ability that Catintell-Res gained from unpaired cataract images can process cataract images from various datasets. We hope the models can help ophthalmologists identify other blinding eye diseases of cataract patients and inspire more medical image restoration methods in the future.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.11040v1cs.CV공통 태그 Image Restoration, SSIM

FSFVE: 퓨샷 압축 얼굴 비디오 향상

FSFVE: Few Shot Compressed Face Video Enhancement

화상통화(videocalling)는 오늘날 전 세계적으로 널리 사용되는 통신 수단이 되었으며, 많은 기업들이 무료 서비스를 제공하고 있다. 그러나 대역폭 제한으로 인해 여전히 전 세계 수백만 명이 낮은 품질의 화상통화를 경험하고 있다. 이는 대부분의 사람들이 필요한 하드웨어를 갖추고 있음에도 불구하고 발생하는 문제이다. 본 논문에서는 고도로 압축된 화상통화를 향상시키기 위한 새로운 프레임워크를 제안한다. 단 10프레임의 얼굴 영상만으로도 100초 이내에 신속하게 모델을 학습시켜 해당 화상통화 인스턴스를 향상시킬 수 있음을 보인다. 모델은 통화 전 또는 통화 중에 학습될 수 있으며, 더 나은 품질의 영상을 생성하여 이후 통화를 향상시킨다. 화상회의 애플리케이션을 수정할 필요가 없으며, 기성(off-the-shelf) 제품을 그대로 사용하되 빠르게 학습한 후 화상회의 애플리케이션(예: Zoom)이 평소대로 실행되도록 하는 상위 층(layer)으로 우리 시스템을 적용할 수 있다. 우리 시스템은 영상이 화면에 표시되기 전에 이를 가로채어 개선한다. 모델은 일반적인 노트북 CPU와 같은 저성능 기기에서 실시간으로 실행되도록 설계되었다. 실험을 통해 해당 모델이 압축된 얼굴 비디오의 품질을 정량적으로 및 지각적으로 모두 크게 향상시킴을 보인다. 코드는 https://github.com/varun-jois/FSFVE 에서 확인할 수 있다.

arXiv:2511.15060v2eess.IV공통 태그 Image Restoration, SSIM

이미지 노이즈 제거를 위한 변환된 $\ell_1$ 그래디언트 정규화

Transformed $\ell_1$ Gradient Regularization for Image Denoising

총 변동(TV) 정규화는 이미지 복원 및 재구성 문제에서 널리 사용되는 고전적인 엣지 보존 기법이지만, 볼록(convex) $\ell_1$ 그래디언트 페널티는 큰 그래디언트를 과도하게 축소하는 경향이 있어 계단 현상(staircase artifacts)과 대비(contrast) 손실을 유발한다. 본 논문에서는 변환된 $\ell_1$(TL1) 페널티를 이용한 그래디언트 기반 정규화를 제안하고, 이를 이미지 노이즈 제거에 적용한다. TL1 페널티는 점근적으로 $\ell_1$과 $\ell_0$ 유사 노름(pseudo-norm) 사이를 보간하며, 날카로운 엣지와 구간별 매끄러운(piecewise-smooth) 영역을 더 잘 보존하는 TV의 원리적 대안을 제공한다. 또한 TL1은 다루기 쉬운 근사 연산자(proximal operator)를 허용하므로, 교대 방향 승수법(ADMM)으로 하위 문제를 풀어내는 근사 분할(proximal splitting) 방식 기반의 효율적인 알고리즘이 가능하다. TL1의 약 볼록성(weak convexity)은 온화한 조건 하에서 근사 반복(proximal iterates)이 정류점(stationary point)으로 전역 수렴함을 보장한다. 이미지 노이즈 제거에 대한 수치 실험은 제안된 방법이 날카로운 엣지, 지역 대비, 구간별 매끄러운 구조를 효과적으로 보존하며 다른 그래디언트 기반 접근법들을 능가함을 보여준다.

arXiv:2607.03110v1cs.CV공통 태그 Image Restoration, SSIM

ExpoMotion: 다중 노출 융합을 위한 대규모 벤치마크 및 Householder 투영 네트워크

ExpoMotion: A Large-Scale Benchmark and A Householder Projection Network for Multi-Exposure Fusion

다중 노출 융합(Multi-Exposure Fusion, MEF)은 동적 범위를 효과적으로 확장하지만, 모션으로 인한 고스팅(ghosting)과 고품질 동적 벤치마크의 부족으로 실제 배포에 어려움이 있다. 현재 벤치마크들은 동적 장면을 대부분 무시하고 신뢰할 수 있는 정답(ground truth)이 부재하여 실제 세계의 복잡한 모션을 처리하기 어렵다. 이에 대응하여, 우리는 고스트 제거(deghosting) 능력을 평가하기 위해 설계된 대규모 벤치마크인 ExpoMotion을 소개한다. ExpoMotion은 다양한 환경에서 1,738개의 시퀀스와 10,909개의 이미지로 구성되며, 광범위한 모션을 다루고 전문가 가이드 수집 파이프라인을 통해 구축된 고충실도 GT를 제공한다. 이 벤치마크에서 포착된 복잡한 동적 특성과 극한 조건에 대처하기 위해, 우리는 Householder 변환을 통해 수학적 관점에서 MEF 고스트 제거를 재검토하는 Householder 직교 투영 네트워크(HOP)를 제안한다. HOP는 다중 프레임 정렬을 노출 사전 정렬과 고스트 필터링으로 분리한다. 구체적으로, 전역 사전 조명 정렬(GPIA) 모듈은 전역 통계를 활용한 노출 조화(exposure harmonization)를 통해 급격한 동적 범위 불일치를 먼저 보정한다. 고스트 제거와 관련하여, Householder 직교 어텐션(HOA)은 아티팩트를 직교 섭동(orthogonal perturbation)으로 모델링한다. 동적 Householder 반사기(reflector)를 사용함으로써 HOA는 고주파 세부 정보를 보존하면서 특징 다양체(feature manifold)에서 고스트를 효과적으로 투영하여 제거한다. 실험을 통해 ExpoMotion 데이터셋이 우수한 일반화와 아티팩트 없는 세부 복원을 가능하게 함을 입증하며, HOP 방법의 효과성과 효율성 또한 검증한다. 데이터셋과 코드는 https://github.com/Leo-LiuYao/ExpoMotion에서 제공된다.

arXiv:2607.01756v1cs.CV공통 태그 Image Restoration, SSIM

ProSAC-CT: 저선량 CT 디노이징을 위한 점진적 스펙트럼-해부학적 공동 가이드 다단계 확산 모델

ProSAC-CT: Progressive Spectral-Anatomical Co-Guided Multi-Stage Diffusion Model for Low-Dose CT Denoising

저선량 컴퓨터 단층촬영(LDCT)은 방사선 피폭을 줄이지만 더 강한 양자 노이즈, 스트리크 아티팩트, 국소 텍스처 열화를 유발하여 해부학적 경계를 흐리게 하고 저대비 구조물을 약화시킬 수 있다. 확산 모델(diffusion model)은 열화된 LDCT 입력으로부터 정상 선량 CT(NDCT) 영상을 점진적으로 복원함으로써 LDCT 디노이징에 유망하지만, 기존 방법들은 불충분한 해부학적 가이던스, 불확실한 주파수 의존적 복원, 균일한 역과정 모델링 문제를 자주 겪는다. 본 논문에서는 영상 도메인 LDCT 디노이징을 위한 점진적 스펙트럼-해부학적 공동 가이드 다단계 확산 모델인 ProSAC-CT를 제안한다. ProSAC-CT는 해부학적 사전 가이드 컨디셔닝(APGC) 모듈, 잔차 주파수 도메인 디커플링 스테이지(RFDDS), 타임스텝 디커플링 디노이징 디코더(TD3)를 통합한다. APGC는 LDCT에서 구조적 가이던스를 추출하고, RFDDS는 주파수 인식 표현을 강화하며, TD3는 이를 서로 다른 역확산 단계에 할당하여 해부학적 안정화, 경계 정제, 세밀한 디테일 복원을 수행한다. 네 가지 LDCT 열화 벤치마크에 대한 실험 결과, ProSAC-CT는 대표적인 방법들 대비 영상 충실도, 구조적 유사도, 지각적 품질, 정보 보존을 향상시키면서 경계에 민감한 해부학적 디테일을 더 잘 보존하는 것으로 나타났다. Mayo-2020에 대한 다운스트림 해부학적 영역 분류(classification) 실험은 ProSAC-CT가 과제 관련 해부학적 정보를 유지함을 추가로 보여주며, 저선량 CT 디노이징의 실용적 활용 가능성을 뒷받침한다.

arXiv:2606.30049v1cs.CV공통 태그 Image Restoration, SSIM

안개 환경에서 영상 복원과 항법 안전성 간의 격차 해소: 해양 감시를 위한 새로운 시정 추정 지표

Bridging the Gap Between Image Restoration and Navigational Safety in Hazy Conditions: A New Visibility Estimation Metric for Maritime Surveillance

시정 거리는 선박 탑재 및 육상 기반 모니터링 시스템의 유효 관측 범위를 결정하기 때문에 해양 항법 안전에 매우 중요하다. 안개 환경에서는 저하된 시각 정보로 인해 관측 가능 거리가 단축되어 항법 위험과 경제적 손실이 증가한다. 수많은 영상 디헤이징(dehazing) 기법이 개발되었음에도 불구하고, PSNR, SSIM, FSIM, FADE, NIQE와 같은 기존 영상 품질 평가 지표는 복원 품질과 실용적 시정 임계값 사이의 물리적으로 해석 가능한 관계를 확립하지 못한다. 이러한 한계를 해결하기 위해, 본 연구는 디헤이징 성능을 가시 거리 추정과 연결하는 시정 지향 평가 프레임워크를 제안한다. 먼저, Unity3D를 사용하여 등급별 시정 조건에서의 해양 교통 장면을 시뮬레이션함으로써 해양 시뮬레이션 시정 데이터셋(MSVD)을 구축한다. 이 데이터셋은 정밀한 시정 주석이 포함된 안개 영상과 선명한 영상의 쌍을 제공하여 시정 복원의 정량적 분석을 가능하게 한다. 다음으로, 객체 검출 정확도를 중간 지표로 활용하는 디헤이징 시정 평가 지표를 개발한다. 시정 거리와 검출 성능 간의 매핑을 확립함으로써, 제안된 지표는 영상 복원 개선을 측정 가능한 시정 향상으로 변환한다. 여섯 가지 대표적인 디헤이징 기법을 기존 영상 품질 지표와 제안된 시정 지표 모두를 사용하여 평가한다. 다양한 촬영 조건에서의 실험 결과는 MSVD가 등급별 시정 수준에 걸쳐 디헤이징 성능을 평가하는 신뢰할 수 있는 벤치마크를 제공하며, 제안된 지표가 해석 가능하고 신뢰할 수 있는 가시 거리 추정을 가능하게 함으로써 항법 안전성과 운용 효율성 평가를 지원함을 보여준다.

arXiv:2606.27905v1cs.CV공통 태그 Image Restoration, SSIM

갔다가 돌아오며: 다중 노출 융합을 위한 유연 프레임 트랜스포머

There and Back Again: A Flexible-Frame Transformer for Multi-Exposure Fusion

다중 노출 융합(MEF)은 일반 카메라의 동적 범위(dynamic range)를 인간 시각에 가깝게 만들어 풍부한 장면 내용을 담은 영상을 생성한다. 장면 휘도(luminance)의 큰 변동성으로 인해, 노출 전략은 전체 복사 휘도(radiance) 범위를 충실하게 포착하기 위해 서로 다른 수의 프레임을 필요로 하는 경우가 많다. 그러나 기존 MEF 기법은 일반적으로 고정된 수의 입력에 맞춰 설계되어, 배포 시스템이 프레임 수 요구사항마다 별도의 모델을 유지해야 하며 이는 배포 효율성을 저해한다. 이 한계를 해결하기 위해, 우리는 재학습이나 구조 변경 없이 서로 다른 수의 입력 노출을 원활하게 수용하는 MEF용 최초의 유연 프레임 트랜스포머 FreeMEF를 제안한다. 제안 방법은 두 가지 핵심 모듈로 구성된다. 첫째, 적응형 정렬과 상태 공간 순환 모델링(state-space recurrent modeling)을 통해 임의 시퀀스의 특징을 순차적으로 융합하고, 이후 복원(restoration)을 위한 전역 정보 지침을 제공하는 순환 상태 공간 모듈(RSSM)을 도입한다. 둘째, 극값 인식 하이브리드 어텐션(EAHA)과 아핀 주입 순전파 신경망(AFFN)을 포함하는 전역 특징 유도 블록(GFGB)을 설계하여, 유사도 역설(similarity paradox)을 효과적으로 해결하면서 대비와 밝기 조절을 동시에 최적화한다. 세 개의 벤치마크 데이터셋에서의 광범위한 실험은 제안 방법의 효과를 보여주며, 정량적·정성적 측면 모두에서 최신(state-of-the-art) 방법 대비 우수한 성능을 달성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.