C-MADA: Unsupervised Cross-Modality Adversarial Domain Adaptation framework for medical Image Segmentation
원문 초록
Deep learning models have obtained state-of-the-art results for medical image analysis. However, when these models are tested on an unseen domain there is a significant performance degradation. In this work, we present an unsupervised Cross-Modality Adversarial Domain Adaptation (C-MADA) framework for medical image segmentation. C-MADA implements an image- and feature-level adaptation method in a sequential manner. First, images from the source domain are translated to the target domain through an un-paired image-to-image adversarial translation with cycle-consistency loss. Then, a U-Net network is trained with the mapped source domain images and target domain images in an adversarial manner to learn domain-invariant feature representations. Furthermore, to improve the networks segmentation performance, information about the shape, texture, and con-tour of the predicted segmentation is included during the adversarial train-ing. C-MADA is tested on the task of brain MRI segmentation, obtaining competitive results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가
Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation
선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.
AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리
AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis
3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.
BrainIAC: 온라인 적응을 통한 이종 MRI 모달리티 전반에서의 대화형 3D 뇌 병변 분할
BrainIAC: Interactive 3D Brain Lesion Segmentation across Heterogeneous MRI Modalities with Online Adaptation
뇌 병변 분할은 의료 영상 분석의 핵심 과제로, 진단, 치료 계획 수립, 장기적인 질환 모니터링에서 결정적인 역할을 수행합니다. 그러나 기존 모델들은 스캐너 하드웨어, 이미징 프로토콜(다양한 MRI 모달리티 조합)의 차이 및 새로운 병리적 특성으로 인해 발생하는 데이터 분포 변화(distribution shift)가 존재하는 실제 임상 현장의 요구 조건을 충족하는 데 여전히 어려움을 겪고 있습니다. 본 논문에서는 다음 요소들을 통합한 단일 프레임워크인 BrainIAC(Brain lesion Interactive Adaptive Continuously learning segmentation)를 제안합니다: (i) 제로 필링(zero-filling) 및 무작위 모달리티 드롭(random modality dropping)을 통해 다양한 유형의 뇌 병변을 분할하고 이종 모달리티 조합을 처리하도록 학습(training)된 멀티모달 백본 네트워크, (ii) 프롬프트(prompt)가 주어지지 않을 때 완전 자동 예측을 유지하면서 바운딩 박스 및 클릭 프롬프트를 활용하는 3D 대화형 분할(interactive segmentation), (iii) 네트워크 자체의 예측값을 의사 라벨(pseudo label)로 활용하여 지도 학습을 수행하고 추가적인 클릭 중심 가우시안 손실(Click-Centered Gaussian loss)의 안내를 받는 상호작용 중(Mid-Interaction) 적응과 상호작용 후(Post-Interaction) 적응을 결합한 온라인 적응 메커니즘. 저자들이 아는 한, 이는 대화형 분할을 위한 최초의 3D 온라인 적응 방법 중 하나이며, 이종 모달리티 조합 처리와 온라인 적응을 결합한 최초의 연구입니다. 7개의 뇌 MRI 데이터셋(dataset)을 활용한 실험을 통해 제안된 구성 요소들이 상호 보완적이고 시너지 효과를 내는 이점을 제공함을 입증했습니다. 제안 방법은 기존 접근 방식들을 지속적으로 능가하며, 학습 중 보지 못한 모달리티를 포함한 이종 이미징 모달리티 전반은 물론 이전에 보지 못한 뇌 병리 유형에 대해서도 우수한 일반화 성능을 보입니다. 코드 및 3D Slicer 플러그인은 논문 게재 시 https://github.com/WenTXuL/BrainIAC 에 공개될 예정입니다.
Rethinking Dual-Stream Super-Resolution Semantic Learning in Medical Image Segmentation
Crosslink-Net: Double-Branch Encoder Network via Fusing Vertical and Horizontal Convolutions for Medical Image Segmentation
흉부 방사선 사진 골 억제를 위한 확장 가능한 감독으로서 해부학 분해 흉부 CT 투영
Anatomy-Decomposed Chest Computed Tomography (CT) Projections as Scalable Supervision for Bone Suppression in Chest Radiographs
토론
이 논문과 연결된 포럼 글이 아직 없습니다.