GAN-based Super-Resolution and Segmentation of Retinal Layers in Optical coherence tomography Scans
원문 초록
In this paper, we design a Generative Adversarial Network (GAN)-based solution for super-resolution and segmentation of optical coherence tomography (OCT) scans of the retinal layers. OCT has been identified as a non-invasive and inexpensive modality of imaging to discover potential biomarkers for the diagnosis and progress determination of neurodegenerative diseases, such as Alzheimer's Disease (AD). Current hypotheses presume the thickness of the retinal layers, which are analyzable within OCT scans, can be effective biomarkers. As a logical first step, this work concentrates on the challenging task of retinal layer segmentation and also super-resolution for higher clarity and accuracy. We propose a GAN-based segmentation model and evaluate incorporating popular networks, namely, U-Net and ResNet, in the GAN architecture with additional blocks of transposed convolution and sub-pixel convolution for the task of upscaling OCT images from low to high resolution by a factor of four. We also incorporate the Dice loss as an additional reconstruction loss term to improve the performance of this joint optimization task. Our best model configuration empirically achieved the Dice coefficient of 0.867 and mIOU of 0.765.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
불확실성 추정을 갖춘 적응형 계층화 앙상블 학습을 통한 태양 자기력선도 초해상도
Super-Resolution of Solar Magnetograms via Adaptive Stratified Ensemble Learning with Uncertainty Estimation
태양 광구 자기력선도의 단일 영상 초해상도(super-resolution)는 이질적인 우주 기반 관측 장비 간 일관된 분석을 가능하게 하며 태양 자기장 진화에 대한 장기 연구를 지원한다. 저해상도 SOHO/MDI에서 고해상도 SDO/HMI 시선 방향(line-of-sight, LOS) 자기력선도로의 초해상도 과제를, ESRGAN 사전학습 가중치로 초기화한 수정 RRDBNet 아키텍처를 사용하여 다룬다. 체계적인 영상별 진단 분석을 통해 재구성 오류의 지배적 예측 변수로서 영상 복잡도를 확인한다. 이 결과를 활용하기 위해 불확실성 추정을 포함한 세 개의 전문 네트워크로 구성된 적응형 계층화 전문가 앙상블(adaptive stratified specialist ensemble, SSE)을 제안한다. 각 전문 네트워크는 가중 무작위 샘플링 전략을 사용하여 세 가지 서로 다른 복잡도 계층의 영상으로 학습된다. 추론 시 입력 영상 통계에 기반한 경량 라우터가 각 테스트 영상을 적절한 전문 네트워크에 할당한다. 실험 결과는 제안한 앙상블의 우수한 성능과 밀접히 관련된 방법들 대비 우월성을 보여준다.
당뇨병성 망막병증 병변 분할을 위한 다중 해상도 특징 스템
Multi-Resolution Feature Stem for Diabetic Retinopathy lesion segmentation
당뇨병성 망막병증(Diabetic Retinopathy, DR)은 전 세계적으로 예방 가능한 실명의 주요 원인으로, 조기 발견 및 모니터링을 위해 심층 학습(deep learning) 모델을 이용한 자동화된 병변 분할이 요구된다. 그러나 DR 병변은 미세혈관류(microaneurysm)처럼 극히 작은 것부터 대형 출혈(hemorrhage) 및 삼출물(exudate)까지 크기가 매우 다양하다. 이러한 변동성은 모델 아키텍처와 입력 해상도에 상충되는 요구를 발생시켜 효과적인 설계를 어렵게 한다. 본 연구는 입력 해상도가 서로 다른 병변 유형에 미치는 영향을 조사한다. 512×512 및 1024×1024 해상도에서 다수의 아키텍처(U-Net, UNet++, Vision Transformer, DeepLabV3+)를 대상으로 체계적인 실험을 수행한 결과, 입력 해상도를 높이는 것이 병변 유형에 따라 상반된 효과를 나타내는 중요하고 직관에 반하는 현상을 규명하였다. 구체적으로, 높은 해상도가 미세한 미세혈관류를 정밀하게 식별하는 데 필수적인 반면, 더 큰 출혈에 대한 성능을 예상치 못하게 저하시킬 수 있음을 입증하였다. 이 결과는 높은 해상도가 일관되게 유익하다는 통념에 의문을 제기한다. 이를 해결하기 위해, UNet++ 백본에 통합된 입력 수준의 피라미드 구조인 새로운 다중 해상도 특징 스템(Multi-Resolution Feature Stem)을 제안한다. 이 아키텍처는 여러 스케일을 병렬로 처리하여 문맥 정보를 희생하지 않고 세밀한 세부 특징을 포착한다. 본 연구는 이러한 복잡한 해상도 의존적 동작에 대한 핵심적인 실증적 증거와, 이 트레이드오프를 성공적으로 해결하는 실용적이고 매개변수 효율적인 아키텍처를 제시한다.
CoReGAN: Contrastive Regularized Generative Adversarial Network for Guided Depth Map Super Resolution
Crack Segmentation for Low-Resolution Images using Joint Learning with Super-Resolution
Infrared Image Super-Resolution via Transfer Learning and PSRGAN
Illumination-Aware Multi-Task GANs for Foreground Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.