arXiv:2008.06632

Dehaze-GLCGAN: Unpaired Single Image De-hazing via Adversarial Training

Zahra Anvari, Vassilis Athitsos

제출 2020-08-15

원문 초록

Single image de-hazing is a challenging problem, and it is far from solved. Most current solutions require paired image datasets that include both hazy images and their corresponding haze-free ground-truth images. However, in reality, lighting conditions and other factors can produce a range of haze-free images that can serve as ground truth for a hazy image, and a single ground truth image cannot capture that range. This limits the scalability and practicality of paired image datasets in real-world applications. In this paper, we focus on unpaired single image de-hazing and we do not rely on the ground truth image or physical scattering model. We reduce the image de-hazing problem to an image-to-image translation problem and propose a dehazing Global-Local Cycle-consistent Generative Adversarial Network (Dehaze-GLCGAN). Generator network of Dehaze-GLCGAN combines an encoder-decoder architecture with residual blocks to better recover the haze free scene. We also employ a global-local discriminator structure to deal with spatially varying haze. Through ablation study, we demonstrate the effectiveness of different factors in the performance of the proposed network. Our extensive experiments over three benchmark datasets show that our network outperforms previous work in terms of PSNR and SSIM while being trained on smaller amount of data compared to other methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.16755v2cs.CV공통 태그 Generative Adversarial Network, Image-to-Image Translation

De-GAN - 3D 의료 이미지 분할을 위한 동적 매개변수 튜닝 GAN: 일반화를 향한 한 걸음

De-GAN - Dynamic Parameter Tuned GAN for 3D Medical Image Segmentation: A Step Towards Generalisation

조영증강 종양(ET)은 대비가 낮고 주변 조직과 겹치며, 스캐너 및 촬영 기관의 차이로 인해 도메인 이동(domain shift)이 발생하기 때문에 뇌종양 분할은 여전히 어렵습니다. 본 논문에서는 슬라이스 적응형 FLAIR 영상을 합성하기 위해 입력 적응형 동적 합성곱(dynamic convolution), 스타일 인식 특징(feature) 혼합 및 좌표 인코딩을 결합한 대비 향상 조건부 생성적 적대 신경망(GAN)인 DE-GAN을 제안합니다. 레이블 유도 클래스 조건부 타깃은 해부학적 구조를 보존하면서 종양 코어(TC)와 ET 강도를 분리합니다. 생성된 FLAIR는 원본 MR 모달리티와 연결(concatenate)되어 3D U-Net 학습(training)에 사용됩니다. BraTS 2015, 2018 및 2019 전반에 걸쳐 DE-GAN은 보고된 대부분의 TC/ET 지표에서 기준선(baseline) 및 정적 EnhGAN 대체 대비 분할 성능을 개선했으며, 원본과 향상된 FLAIR를 모두 유지했을 때 가장 큰 이득을 얻었습니다. 코드와 사전학습된 모델은 https://github.com/zkhansuri-ui/DE-GAN 에서 확인할 수 있습니다.

arXiv:2610.01956v1cs.CV공통 태그 Generative Adversarial Network, Image-to-Image Translation

EndoLive: 내시경 경비강 두개저 수술 비디오를 위한 실시간 스타일 전이

EndoLive: Real-Time Style Transfer for Endoscopic Endonasal Skull Base Surgical Video

내시경 경비강 두개저 수술(endoscopic endonasal skull base surgery)과 같이 주요 해부학적 구조 주변에서 이루어지는 복잡한 수술 절차는 외과의가 실제 환자를 대상으로 수술을 집도하기 전에 상당한 연습과 훈련(training)을 거쳐야 합니다. 카다버(사체) 표본은 살아있는 사람과 동일한 중요 구조를 포함하고 있어 통상적으로 이러한 훈련에 활용됩니다. 그러나 카다버는 살아있는 환자를 완벽히 1대1로 대체하지는 못합니다. 카다버의 사후 보존된 조직은 살아있는 인간의 조직과 색상이 완전히 다르며, 복잡하고 값비싼 펌프 시스템이 없다면 동일한 방식으로 출혈이 발생하지도 않습니다. 그 결과, 이 수술을 매우 복잡하게 만드는 핵심 해부학적 구조를 식별하는 일은 실제 수술 사례와 외과의의 카다버 실습 간에 상당한 차이가 있을 수 있습니다. 본 논문에서는 카다버 내시경 비디오와 살아있는 사람의 내시경 비디오 간 실시간 스타일 전이(style transfer)를 위한 프레임워크인 EndoLive를 제시합니다. 본 연구의 방법은 수술 분야에 사실적인 스타일 전이를 제공하는 ConStructS 생성적 적대 신경망(GAN) 모델과, 복잡한 변환을 학습하여 실시간으로 수행할 수 있는 HyPER-GAN 모델을 결합합니다. 내시경으로 촬영한 비쌍(unpaired) 카다버 및 생체 이미지를 기반으로 EndoLive를 학습(training)하고, 학습된 모델을 다양한 장치에서 카다버 비디오로 테스트합니다. 실험 결과는 EndoLive가 주요 해부학적 구조의 의미적 일관성을 유지하면서도 실시간 처리에 필요한 최소 속도를 훨씬 웃도는 속도로 카다버-생체 변환을 수행할 수 있음을 입증합니다. 소스 코드는 https://github.com/griffhurt/endolive 에서 확인할 수 있습니다.

arXiv:2609.22397v1eess.IV공통 태그 Generative Adversarial Network, Image-to-Image Translation

가상 조영증강 유방 MRI를 위한 병변-게이팅 하이브리드 합성: MAMA-SYNTH 챌린지 솔루션

Lesion-Gated Hybrid Synthesis for Virtual Contrast-Enhanced Breast MRI: A MAMA-SYNTH Challenge Solution

목적: 조영증강 유방 MRI는 정맥 내 가돌리늄 기반 조영제에 의존하며, 이는 조영 전(pre-contrast) 영상만으로 조영 후(post-contrast) 모습을 합성하는 방법에 대한 동기를 제공한다. MAMA-SYNTH 챌린지(MICCAI 2026 Deep-Breath 워크숍)는 이러한 합성을 영상 충실도(image fidelity), 종양 관심 영역(tumour region of interest), 다운스트림 분류, 다운스트림 분할(segmentation)의 네 가지 지표 그룹에 걸쳐 평가한다. 네 그룹의 순위는 평균화되므로, 단일 목적 함수를 최적화하는 것만으로는 충분하지 않다. 재료 및 방법: 우리는 병변-게이팅(lesion-gated) 하이브리드 합성 파이프라인을 개발했다. 조영 전 영상만을 사용하는 분할 네트워크 앙상블(ensemble)에 의해 조영 전 슬라이스만으로 추정된 병변 확률 지도는, 종양 중심 회귀(regression) 경로와 배경 중심 Pix2PixHD 합성 경로를 공간적으로 조율하며, 이후 예측된 조영증강에 대한 영역-의존적 보정이 이어진다. 학습(training)에는 환자 단위 분할을 적용한 공개 MAMA-MIA 데이터 수집을 사용했다. 추론(inference)은 단일 조영 전 2D 슬라이스만을 입력으로 사용하며, 마스크, 조영 후 영상, 영상 기하 정보 이외의 보조 메타데이터는 사용하지 않는다. 결과: 내부 검증(validation)(n = 120명의 환자)에서 이 방법은 MSE 0.523, LPIPS 0.185, 종양 영역 SSIM 0.495를 달성했다. 이 방법은 자체 완결형(self-contained) 추론 컨테이너 형태로 비공개 외부 300건 테스트 코호트에 제출되었다. 이 방법은 공식 MAMA-SYNTH 챌린지 리더보드에서 6위를 기록했다. 결론: 조영 전 영상으로부터 도출된, 테스트 시점에도 적용 가능한 병변 확률 지도는 상호 보완적인 종양 중심 회귀와 배경 중심 지각적 합성을 조율할 수 있으며, 이를 통해 다중 지표(multi-metric) 챌린지 환경에서 균형 잡힌 가상 조영증강을 가능하게 한다.

arXiv:2607.24727v1cs.CV공통 태그 Generative Adversarial Network, Image-to-Image Translation

소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망

Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives

배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.

arXiv:2607.21800v1physics.med-ph공통 태그 Generative Adversarial Network, Image-to-Image Translation

두상경부암 3차원 CT-PET 합성을 위한 핫스폿 유도 융합 이중 경로 프레임워크

A Dual Path Framework with Hotspot Guided Fusion for Three Dimensional CT to PET Synthesis in Head and Neck Cancer

18F-FDG PET/CT는 해부학적 CT 영상을 보완하는 기능적 정보를 제공함으로써 두상경부암의 병기 설정(staging), 치료 계획, 반응 평가에 핵심적인 역할을 한다. 그러나 PET 촬영은 방사성 추적자 투여, 전문 인프라, 추가 비용을 필요로 하여 반복 영상 촬영에 대한 이용 가능성을 제한한다. 우리는 진단용 PET를 대체하기보다 영상 트리아지(imaging triage) 및 임상 의사결정 지원을 돕는 보완적 대사 정보를 제공하는 것을 목표로, 일상적인 CT 스캔으로부터 직접 PET 유사 영상을 합성하는 개념 증명(proof of concept) 심층 학습 프레임워크를 제안한다. 공개 QIN-HEADNECK 데이터셋의 44명 환자를 5-fold 교차 검증을 사용하여 후향적으로 분석하였다. 우리는 (i) 복셀 단위 정량적 SUV 추정에 최적화된 회귀 U-Net과 (ii) 사실적인 PET 텍스처에 최적화된 조건부 생성적 적대 신경망(conditional GAN)으로 구성된 완전 3차원 이중 경로 아키텍처를 제안한다. 두 출력은 핫스폿 유도 라플라시안 피라미드 블렌딩(hotspot guided Laplacian pyramid blending)을 통해 통합되어, 회귀 경로의 정량적 정보는 대사적으로 활성화된 영역 내에서 보존되고, 그 외 영역에서는 적대적 텍스처 합성을 활용한다. 제안된 프레임워크는 재구성된 3차원 PET 볼륨에서 평균 절대 오차 0.00395, PSNR 39.19 dB, SSIM 0.9634를 달성하였다. 정성적 평가는 해부학적으로 사실적인 배경 텍스처를 생성하면서 많은 FDG 섭취 병변의 정확한 국소화를 보여주었다. 이전 CT-PET 합성 연구와 일치하게, 주요 한계는 대사적으로 매우 활성화된 종양 영역 내 SUV의 체계적 과소추정이었다.

arXiv:2607.21068v1cs.LG공통 태그 Generative Adversarial Network, Image-to-Image Translation

CycleGAN 및 반사실-분류기 정렬 점수를 활용한 망막 질환 분류를 위한 반사실 설명 가능성 프레임워크

Counterfactual Explainability Framework With CycleGAN And Counterfactual-Classifier Alignnment Score for Retinal Disease Classification

안저 영상으로부터 시력을 저해하는 망막 기반 안과 질환의 자동 탐지는 조기 스크리닝, 적시 의뢰, 전문의 중심 평가에 대한 의존도 감소에 중요하며, 이를 위해 신경망 기반 심층 학습(DL) 모델이 널리 활용되어 왔다. 그러나 DL 프레임워크의 설명 가능성은 임상 채택의 주요 병목으로 남아 있으며, 특히 모델의 판단이 임상적으로 의미 있는 망막 영역과 연결되지 않을 때 그렇다. 이 문제를 해결하기 위해 본 연구는 CounterFundus라는 새로운 CycleGAN 기반 반사실 설명 가능성 프레임워크를 제안하며, EfficientNet-B5 기반 망막 질환 탐지와 시각적으로 해석 가능한 질병-정상 안저 영상 변환을 통합한다. 각 병리학적 영상에 대해 CycleGAN 생성기가 산출한 반사실은 추정된 건강한 대응 영상을 나타내며, 그로부터 얻은 차이 맵은 질환 관련 망막 변화의 국소화에 활용된다. 기존의 사후(post-hoc) saliency 방법과 달리, CounterFundus는 시각적으로 그럴듯한 질병-정상 망막 변환을 통해 반사실 설명을 제공한다. 이어서 반사실 차이 맵과 분류기 saliency 간의 공간적 일치를 정량화하기 위해 반사실-분류기 정렬 점수(Counterfactual-Classifier Alignment Score, CCAS)를 도입하며, Spearman 상관, 이진 IoU, 포인팅 정확도(pointing accuracy)를 단일 평가 프로토콜에 임베딩한다. 이를 위해 EigenCAM 정렬 평가를 수행한 결과, 생성된 반사실 설명이 모든 CCAS 차원에서 분류기 관련 망막 근거와 공간적으로 일관됨을 보여준다. 또한 ablation 연구는 CCAS로 필터링한 반사실 증강이 안저 영상의 하위 분류 성능을 향상시킴을 추가로 확인하여, CounterFundus를 망막 질환 탐지를 위한 임상적으로 그라운딩된 설명 가능 인공지능(XAI) 프레임워크로 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.