Deep learning-based color holographic microscopy
원문 초록
We report a framework based on a generative adversarial network (GAN) that performs high-fidelity color image reconstruction using a single hologram of a sample that is illuminated simultaneously by light at three different wavelengths. The trained network learns to eliminate missing-phase-related artifacts, and generates an accurate color transformation for the reconstructed image. Our framework is experimentally demonstrated using lung and prostate tissue sections that are labeled with different histological stains. This framework is envisaged to be applicable to point-of-care histopathology, and presents a significant improvement in the throughput of coherent microscopy systems given that only a single hologram of the specimen is required for accurate color imaging.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
뇌-이미지 생성: 생성적 적대 신경망을 이용한 뇌파 기반 시각 자극 재구성
Brain-to-Image Generation: Reconstructing Visual Stimuli from EEG using Generative Adversarial Networks
뇌파(EEG)로부터 시각 자극을 재구성하는 것은 두피 측정이 높은 시간 해상도를 갖지만 공간 해상도가 제한적이고, 짝지어진 EEG-이미지 데이터셋이 현대 생성 모델(generative model) 학습 코퍼스에 비해 여전히 작기 때문에 어렵습니다. 본 논문에서는 EEG가 시각 임베딩 공간에서 피험자가 본 자극을 검색할 수 있는지에 대한 보다 타당한 질문을 먼저 검증하는 THINGS-EEG2 기반의 재현 가능한 단일 피험자 기준선(baseline)을 제시합니다. 소형 시공간 합성곱 인코더(temporal-spatial convolutional encoder)는 반복 평균된 EEG(63 x 250)를 사전에 제공된 512차원 ViT-B/32 이미지 특징에 매핑합니다. 모델 선택에는 개념이 분리된 검증 분할을 사용하며, 최종 평가에는 공식 200개 이미지, 200개 개념의 테스트 갤러리를 사용합니다. 세 가지 학습 시드에 걸쳐, 제안 모델은 1, 5, 10에서의 이미지 재현율(recall) 각각 12.83 ± 0.58%, 39.17 ± 1.76%, 58.00 ± 1.73%(평균 ± 표본 표준편차)를 달성하여 0.5%, 2.5%, 5.0%인 이론적 무작위 확률 수준(chance level)과 비교되는 성능을 보였습니다. 세션 균형 제거 연구(ablation study)는 더 많은 테스트 반복을 평균화할수록 전반적으로 순위 매김이 향상됨을 보여줍니다. 적응 과정 없이 피험자 01의 모델을 다른 9명의 피험자에게 적용하면 성능이 급격히 저하되어 피험자 특이성이 드러납니다. 나아가 외부 시각 가중치 없이 학습된 직접 조건부 생성기(direct conditional generator)에 대한 탐색적 스트레스 테스트를 보고합니다. 단일 피험자 및 10명 피험자 변형 모델은 노이즈가 지배적인 출력을 생성하며, 초기 검증 성능 개선은 1~4 에포크 후에 반전되었습니다. 마지막으로 사전학습된 확산 사전확률(diffusion prior)을 사용하는 시맨틱 렌더링과 직접 재구성을 구별합니다. 결과는 폐쇄 집합(closed-set) 및 반복 평균화 프로토콜 하에서 무작위 수준을 넘어서는 대략적인 시맨틱 디코딩은 지지하지만, 자극 픽셀의 충실한 복원은 지지하지 않습니다.
30m 맑은 하늘 지표면 온도 공백 없는 재구성을 위한 패스트 푸리에 합성곱 생성적 적대 신경망
Fast Fourier Convolutional GAN for 30 m Clear-Sky Land Surface Temperature Gap-Free Reconstruction
위성 기반 지표면 온도(LST)는 지상 관측소가 따라잡을 수 없는 공간적으로 포괄적인 데이터를 제공한다. 그러나 구름의 존재로 인한 심각한 데이터 공백으로 인해 그 활용도는 종종 제한된다. LST는 육지-대기 상호작용을 이해하는 데 필수적이므로, 이 문제를 해결하기 위해 수많은 방법이 제안되어 왔다. 그럼에도 공백 없는 LST 데이터셋을 생성하고 구름으로 오염된 픽셀을 재구성하는 확장 가능하고 적응 가능한 파이프라인 개발은 여전히 어려운 과제로 남아 있다. 또한 고공간 해상도 관측에서 광범위한 결측 영역의 재구성은 특히 어렵다. 이 문제를 해결하기 위해, 우리는 공백 없는 맑은 하늘 LST 제품을 생성하기 위해 고해상도(30m) Landsat 영상에서 구름으로 오염된 픽셀을 재구성하는 다중모달 패스트 푸리에 합성곱 생성적 적대 신경망을 제안한다. 이 방법은 이미지 전체에 걸친 전역 수용 영역(global receptive field)을 가능하게 하는 패스트 푸리에 합성곱을 활용하며, 위성 관측과 합성개구레이더(SAR) 데이터로 구성된 데이터 스택에 의해 안내된다. 모든 LST 분위수에 걸쳐, (재구성된 픽셀에 대해 계산된) 장면 평균 RMSE의 사분위 범위는 일관되게 0.8K에서 1.8K 사이이다. 제안된 접근법은 거의 전 지구적 규모에서 쉽게 이용 가능한 보조 데이터에 의존하면서, 70% 이상의 구름 유발 공백을 포함하는 장면을 포함하여 광범위한 결측 영역의 복원을 가능하게 한다.
약지도 유방촬영에서 재구성 충실도를 평가하기 위한 진단 격차 프레임워크
A Diagnostic Gap Framework for Evaluating Reconstruction Fidelity in Weakly Supervised Mammography
의료 영상을 위한 약지도(weakly supervised) 파이프라인은 수년에 걸쳐 점점 더 널리 사용되고 있다. 이러한 시스템은 재구성(reconstruction), 생성(generation), 국소화(localization) 등 여러 단계와 구성 요소를 포함하는 경우가 많지만, 표준 평가 지표는 각 단계에서 임상적으로 관련 있는 정보가 보존되는지에 대한 통찰을 제한적으로만 제공한다. 우리는 진단 격차(diagnostic gap) 프레임워크를 제안한다. 이는 측정된 재구성 충실도의 함수로서 의사결정 보존(decision preservation)과 설명 보존(explanation preservation)을 측정하는 실용적인 평가 도구이다. 재구성의 효과를 국소화로부터 분리하기 위해, 우리는 세 가지 클래스 조건부 재구성기—VQ-VAE-GAN, VAE-GAN, 확산(diffusion, SDEdit)—로 구성된 충실도 사다리(fidelity ladder)를 사용하여 큐레이션된 병변 ROI 크롭에서 평가한다. 이는 지각 거리(perceptual distance, LPIPS 0.029–0.584)에서 20배 범위에 걸친다. 오토인코더 수준의 충실도에서는 의사결정과 설명이 모두 보존된다: AUC 변화는 $\pm$0.005 이내에 머물고, 속성 유사도(attribution similarity, HiResCAM, Grad-CAM++)는 높게 유지된다. 확산 모델 수준의 충실도에서는 둘 다 붕괴한다: 풀링(pooled) AUC는 0.253 하락하고, mass-pathology AUC는 우연(chance) 수준 이하로 떨어진다. 따라서 진단 격차는 재구성의 고유한 비용(intrinsic cost)이라기보다 재구성 충실도의 측정 가능한 함수이며, 이 프레임워크는 다단계 파이프라인이 진단 신호를 잃는 시점과 위치를 식별하는 아키텍처 무관(architecture-agnostic) 도구를 제공한다.
소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망
Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives
배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.
두상경부암 3차원 CT-PET 합성을 위한 핫스폿 유도 융합 이중 경로 프레임워크
A Dual Path Framework with Hotspot Guided Fusion for Three Dimensional CT to PET Synthesis in Head and Neck Cancer
18F-FDG PET/CT는 해부학적 CT 영상을 보완하는 기능적 정보를 제공함으로써 두상경부암의 병기 설정(staging), 치료 계획, 반응 평가에 핵심적인 역할을 한다. 그러나 PET 촬영은 방사성 추적자 투여, 전문 인프라, 추가 비용을 필요로 하여 반복 영상 촬영에 대한 이용 가능성을 제한한다. 우리는 진단용 PET를 대체하기보다 영상 트리아지(imaging triage) 및 임상 의사결정 지원을 돕는 보완적 대사 정보를 제공하는 것을 목표로, 일상적인 CT 스캔으로부터 직접 PET 유사 영상을 합성하는 개념 증명(proof of concept) 심층 학습 프레임워크를 제안한다. 공개 QIN-HEADNECK 데이터셋의 44명 환자를 5-fold 교차 검증을 사용하여 후향적으로 분석하였다. 우리는 (i) 복셀 단위 정량적 SUV 추정에 최적화된 회귀 U-Net과 (ii) 사실적인 PET 텍스처에 최적화된 조건부 생성적 적대 신경망(conditional GAN)으로 구성된 완전 3차원 이중 경로 아키텍처를 제안한다. 두 출력은 핫스폿 유도 라플라시안 피라미드 블렌딩(hotspot guided Laplacian pyramid blending)을 통해 통합되어, 회귀 경로의 정량적 정보는 대사적으로 활성화된 영역 내에서 보존되고, 그 외 영역에서는 적대적 텍스처 합성을 활용한다. 제안된 프레임워크는 재구성된 3차원 PET 볼륨에서 평균 절대 오차 0.00395, PSNR 39.19 dB, SSIM 0.9634를 달성하였다. 정성적 평가는 해부학적으로 사실적인 배경 텍스처를 생성하면서 많은 FDG 섭취 병변의 정확한 국소화를 보여주었다. 이전 CT-PET 합성 연구와 일치하게, 주요 한계는 대사적으로 매우 활성화된 종양 영역 내 SUV의 체계적 과소추정이었다.
AnF-DiffPET: PET/CT 노이즈 제거를 위한 해부학 및 주파수 기반 확산 모델
AnF-DiffPET: Anatomy- and Frequency-Guided Diffusion for PET/CT Denoising
양전자 방출 단층촬영(PET)은 질병 평가에 필수적인 기능적 정보를 제공하지만, 주입 방사능량이나 획득 시간을 줄이면 계수 의존적 노이즈가 강하고 섭취량 정량화의 신뢰도가 낮은 저선량(LD) PET가 생성된다. 확산 모델(diffusion model)은 LD 입력으로부터 고선량(HD) PET 영상을 점진적으로 복원함으로써 PET 노이즈 제거에 유망한 해법을 제시한다. 그러나 LD-to-HD PET 노이즈 제거는 불충분한 해부학적 가이던스, 불안정한 다중 스케일 특징(feature) 전파, 주파수 도메인에서의 불확실한 섭취량 복원으로 인해 여전히 어려운 과제이다. 본 논문에서는 컴퓨터 단층촬영(CT) 조건부 저선량 PET 노이즈 제거를 위한 해부학 및 주파수 기반 확산 프레임워크인 AnF-DiffPET를 제안한다. 이 프레임워크는 노이즈 제거 과정에서 해부학 인식 특징 변조와 주파수 도메인 일관성을 강화하기 위해 해부학적-주파수 가이던스(AFG), 다중 스케일 크로스-트랜스포머 복원(MSCTR), 주파수 대조 하드 마이닝(FCHM)을 통합한다. 4개의 PET/CT 데이터셋에 대한 실험 결과, 제안된 방법이 CNN 기반, 생성적 적대 신경망(GAN) 기반, 트랜스포머 기반, 확산 기반 대표 방법들에 비해 영상 충실도, 해부학적 일관성, 정량적 충실도를 향상시킴을 보인다. 코드와 학습된 모델은 논문 게재 승인 시 공개될 예정이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.