arXiv:2209.07910

Memory Consistent Unsupervised Off-the-Shelf Model Adaptation for Source-Relaxed Medical Image Segmentation

Xiaofeng Liu, Fangxu Xing, Georges El Fakhri, Jonghye Woo

제출 2022-09-16

원문 초록

Unsupervised domain adaptation (UDA) has been a vital protocol for migrating information learned from a labeled source domain to facilitate the implementation in an unlabeled heterogeneous target domain. Although UDA is typically jointly trained on data from both domains, accessing the labeled source domain data is often restricted, due to concerns over patient data privacy or intellectual property. To sidestep this, we propose "off-the-shelf (OS)" UDA (OSUDA), aimed at image segmentation, by adapting an OS segmentor trained in a source domain to a target domain, in the absence of source domain data in adaptation. Toward this goal, we aim to develop a novel batch-wise normalization (BN) statistics adaptation framework. In particular, we gradually adapt the domain-specific low-order BN statistics, e.g., mean and variance, through an exponential momentum decay strategy, while explicitly enforcing the consistency of the domain shareable high-order BN statistics, e.g., scaling and shifting factors, via our optimization objective. We also adaptively quantify the channel-wise transferability to gauge the importance of each channel, via both low-order statistics divergence and a scaling factor.~Furthermore, we incorporate unsupervised self-entropy minimization into our framework to boost performance alongside a novel queued, memory-consistent self-training strategy to utilize the reliable pseudo label for stable and efficient unsupervised adaptation. We evaluated our OSUDA-based framework on both cross-modality and cross-subtype brain tumor segmentation and cardiac MR to CT segmentation tasks. Our experimental results showed that our memory consistent OSUDA performs better than existing source-relaxed UDA methods and yields similar performance to UDA methods with source data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25685v2cs.CV공통 태그 Image Segmentation, Medical Image Segmentation

CPU 기반 피부경 검사 영상 분할에서의 초기화 및 중단 허용 오차

Initialization and Stopping Tolerance in CPU Dermoscopic Segmentation

윤곽선 초기화(initialization)와 수치적 중단 조건은 액티브 컨투어(active-contour) 분할 평가에 함께 영향을 미칠 수 있습니다. 본 연구에서는 크기가 조정된 ISIC 2017 미러 데이터셋에서 오픈소스 scikit-image Chan-Vese 구현을 사용하여 이 둘의 상호작용을 조사합니다. 100장의 이미지로 구성된 고정 개발 셋을 통해 공통 입력 채널을 선택한 후, 저장소의 홀드아웃(held-out) 분할에 속한 600장의 전체 이미지를 평가합니다. 기본 및 더 엄격한 레벨셋 허용 오차 조건 하에서 오츠(Otsu) 임계값 처리를 체커보드, 디스크, 오츠 방식으로 초기화된 윤곽선과 비교합니다. 기본 허용 오차에서 오츠 초기화는 체커보드 초기화 대비 평균 이미지 Dice 점수를 0.6011에서 0.6660으로 향상시키며, 이는 0.0649의 대응 차이(95% 이미지 부트스트랩 신뢰구간 [0.0452, 0.0860])를 보입니다. 오츠 임계값 처리 단독으로는 0.6897을 달성합니다. 기본 디스크 초기화 방식은 471장의 이미지에서 단 1회 반복(iteration) 후 중단됩니다. 허용 오차를 엄격하게 설정하면 체커보드 초기화 대비 오츠 시드의 이점이 0.0197로 감소하며, 대부분의 실행이 500회 반복 한계에 도달합니다. 기본 허용 오차에서의 이점 또한 병변 크기 계층(소형 병변 및 대형 병변) 간에 뒤바뀝니다. 이러한 결과는 범용 초기화 방식 대비 개선이 이루어지더라도 임계값 기준선(baseline) 대비 성능 저하와 공존할 수 있음을 보여줍니다. 따라서 향후 평가에서는 정제되지 않은 마스크를 비교 대상으로 유지해야 하며, 초기 필드 정의, 중단 허용 오차, 그리고 관측된 반복 횟수를 함께 보고해야 합니다.

arXiv:2610.03474v1cs.CV공통 태그 Brain Tumor Segmentation, Medical Image Segmentation

Fed-ADApt: 자원 인지형 의료 이미지 분할을 위한 연합 애니타임 깊이 적응

Fed-ADApt: Federated Anytime Depth Adaptation for Resource-Aware Medical Image Segmentation

연합학습(FL)은 환자의 원시 데이터를 공유하지 않고도 의료 이미지 분할 모델의 협력 학습을 가능하게 하지만, 기존 접근법들은 기관 간 연산 자원 예산이 균일하다고 가정하여 자원이 부족한 기관의 참여를 제한합니다. 본 논문에서는 저비용 연산 환경의 학습과 추론을 함께 다루는 UNet 기반 분할용 깊이 적응형 연합 프레임워크인 Fed-ADApt를 제안합니다. Fed-ADApt는 다중 깊이 지도 학습과 계층적 깊이별 집계를 통합하여, 각 기관이 로컬 연산 예산에 맞춰 학습하는 동시에 배포 시 동적 깊이 선택을 지원하는 글로벌 모델에 기여할 수 있도록 합니다. 다중 기관 2D 망막 안저 디스크 분할 및 3D 뇌종양 분할 태스크에서 Fed-ADApt를 평가했습니다. 두 태스크 모두에서 연합 협력은 도메인 이동에 대한 견고성을 대폭 향상시켰습니다. Fed-ADApt는 3D에서 전체 자원을 사용한 FedAvg 성능과 대등했으며, 2D에서는 평균 Dice가 4.7% 감소하는 수준의 경쟁력 있는 성능을 달성한 동시에 평균 추론 비용을 3D에서 19.5%, 2D에서 34.5% 절감하고 자원이 가장 제약된 기관에서 학습 비용을 98% 대폭 줄였습니다. 중요한 점은, Fed-ADApt가 전체 용량의 모델을 학습할 수 없는 저자원 기관도 연합에 참여할 수 있도록 지원하면서 유리한 정확도-효율성 트레이드오프 아래 경쟁력 있는 글로벌 성능을 유지한다는 것입니다. Fed-ADApt는 학습 및 추론 연산 예산을 모두 고려함으로써 이종의 임상 환경과 에지 기반 이미징 환경 전반에서 연합 의료 이미지 분할을 위한 실용적이고 공평한 해결책을 제공합니다.

arXiv:2609.16755v2cs.CV공통 태그 Brain Tumor Segmentation, Medical Image Segmentation

De-GAN - 3D 의료 이미지 분할을 위한 동적 매개변수 튜닝 GAN: 일반화를 향한 한 걸음

De-GAN - Dynamic Parameter Tuned GAN for 3D Medical Image Segmentation: A Step Towards Generalisation

조영증강 종양(ET)은 대비가 낮고 주변 조직과 겹치며, 스캐너 및 촬영 기관의 차이로 인해 도메인 이동(domain shift)이 발생하기 때문에 뇌종양 분할은 여전히 어렵습니다. 본 논문에서는 슬라이스 적응형 FLAIR 영상을 합성하기 위해 입력 적응형 동적 합성곱(dynamic convolution), 스타일 인식 특징(feature) 혼합 및 좌표 인코딩을 결합한 대비 향상 조건부 생성적 적대 신경망(GAN)인 DE-GAN을 제안합니다. 레이블 유도 클래스 조건부 타깃은 해부학적 구조를 보존하면서 종양 코어(TC)와 ET 강도를 분리합니다. 생성된 FLAIR는 원본 MR 모달리티와 연결(concatenate)되어 3D U-Net 학습(training)에 사용됩니다. BraTS 2015, 2018 및 2019 전반에 걸쳐 DE-GAN은 보고된 대부분의 TC/ET 지표에서 기준선(baseline) 및 정적 EnhGAN 대체 대비 분할 성능을 개선했으며, 원본과 향상된 FLAIR를 모두 유지했을 때 가장 큰 이득을 얻었습니다. 코드와 사전학습된 모델은 https://github.com/zkhansuri-ui/DE-GAN 에서 확인할 수 있습니다.

arXiv:2610.00279v1cs.CV공통 태그 Image Segmentation, Medical Image Segmentation

자기공명영상 분할을 위한 다중 해상도 특징 융합 U-Net

Multi-Resolution Feature Fusion U-Net for Magnetic Resonance Imaging Segmentation

의료 영상, 특히 MRI 스캔에서 해부학적 구조를 분할하는 것은 임상 진단과 질병 진행 모니터링에 필수적이다. U-Net 및 그 확장 모델과 같은 심층 학습(Deep Learning, DL) 아키텍처는 의료 이미지 분할 작업에서 매우 효과적이지만, 미세한 세부 정보와 전역적인 맥락 정보를 동시에 보존하는 데 어려움을 겪는 경우가 많다. 이는 해부학적 구조가 불규칙한 경계와 형태, 대비, 크기의 변동을 특징으로 하는 MRI 데이터 분할에서 특히 어려운 문제이다. 이러한 문제를 해결하기 위해, 우리는 서로 다른 해부학적 구조에 대한 MRI 분할을 위한 새로운 DL 아키텍처를 제안한다. 구체적으로, 이 아키텍처는 임의의 U-Net 유사 아키텍처에 쉽게 통합될 수 있는 다중 해상도 특징 융합(Multi-Resolution Feature Fusion, MRFF)이라는 모듈을 도입한다. MRFF는 어텐션(attention) 메커니즘 및 스킵 연결(skip connection)과 함께 인코더-디코더 구조의 모든 레벨에 통합되어 여러 해상도에서 특징을 추출함으로써, 모델이 미세한 세부 정보와 전역적인 맥락 정보를 모두 포착할 수 있게 한다. 우리는 서로 다른 해부학적 대상에 대한 두 가지 공개 벤치마크 MRI 데이터셋에서 MRFFU-Net을 평가하였다; 하나는 척추 MR 스캔에서의 뇌척수액(Cerebrospinal Fluid, CSF) 분할이고, 다른 하나는 Medical Segmentation Decathlon(MSD) 챌린지에서 제공하는 좌심방(left atrium) 심장 분할이다. 실험 결과는 MRFFU-Net이 여러 평가 지표에서 최신(state-of-the-art) 모델들을 능가하며, MRI 분할에서의 효과성을 입증함을 보여준다.

arXiv:2609.17068v2cs.CV공통 태그 Domain Adaptation, Medical Image Segmentation

분포 내 지표를 넘어서: 선천성 심장 질환 분할에 대한 체계적인 분포 외 평가

Beyond In-Distribution Metrics: A Systematic Out-of-Distribution Evaluation of Congenital Heart Disease Segmentation

선천성 심장 질환(CHD) 진단 및 수술 계획에는 환자 맞춤형 3D 해부학적 모델이 자주 요구되지만, 특히 복잡한 해부학적 구조에서 수작업 분할(segmentation)은 많은 노동력이 소모됩니다. 딥러닝 방식이 이 과정을 자동화할 수 있음에도 불구하고, 스캐너, 프로토콜, 기관, 대상군 및 영상 모달리티의 임상적으로 유의미한 변화가 존재함에도 대개 분포 내(in-distribution)에서만 평가됩니다. 저자들이 아는 한, 본 연구는 ImageCHD를 미공개 타깃 코호트로 사용하여 CHD 분할에서의 분포 외(out-of-distribution, OOD) 일반화에 대한 최초의 체계적인 평가를 제시합니다. CT 및 CMR 결합 학습(training), CT 전용 학습, 자기지도 사전학습(self-supervised pre-training), 제한된 타깃 도메인 적응 조건에서 대표적인 분할 아키텍처들을 비교합니다. 분포 내 성능은 코호트 간 견고성(robustness)을 나타내는 지표로 부적합한 것으로 입증되었습니다. nnU-Net은 가장 높은 검증(validation) Dice(0.77)를 달성하지만 ImageCHD에서는 0.51로 하락하는 반면, SwinUNETR은 훨씬 우수하게 일반화되어 0.67 Dice에 도달합니다. MAE 및 JEPA 사전학습은 미미한 수준의 추가적인 이점만을 제공하여, 이 환경에서는 아키텍처가 테스트된 사전학습 전략보다 견고성에 더 크게 기여함을 시사합니다. 제한된 타깃 도메인 지도(supervision)가 도입되면, 모든 SwinUNETR 변형은 단 11개의 라벨링된 ImageCHD 케이스만으로도 0.76 Dice를 초과합니다. 이러한 결과는 기존의 분포 내 평가가 임상적으로 중요한 일반화 실패를 가릴 수 있음을 보여주며, CHD 분할 평가의 핵심 요소로서 명시적인 교차 데이터셋(dataset) 테스트를 뒷받침합니다.

arXiv:2609.22635v1eess.IV공통 태그 Domain Adaptation, Medical Image Segmentation

AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리

AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis

3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.