Can segmentation models be trained with fully synthetically generated data?
원문 초록
In order to achieve good performance and generalisability, medical image segmentation models should be trained on sizeable datasets with sufficient variability. Due to ethics and governance restrictions, and the costs associated with labelling data, scientific development is often stifled, with models trained and tested on limited data. Data augmentation is often used to artificially increase the variability in the data distribution and improve model generalisability. Recent works have explored deep generative models for image synthesis, as such an approach would enable the generation of an effectively infinite amount of varied data, addressing the generalisability and data access problems. However, many proposed solutions limit the user's control over what is generated. In this work, we propose brainSPADE, a model which combines a synthetic diffusion-based label generator with a semantic image generator. Our model can produce fully synthetic brain labels on-demand, with or without pathology of interest, and then generate a corresponding MRI image of an arbitrary guided style. Experiments show that brainSPADE synthetic data can be used to train segmentation models with performance comparable to that of models trained on real data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LSegDiff: A Latent Diffusion Model for Medical Image Segmentation
CPU 기반 피부경 검사 영상 분할에서의 초기화 및 중단 허용 오차
Initialization and Stopping Tolerance in CPU Dermoscopic Segmentation
윤곽선 초기화(initialization)와 수치적 중단 조건은 액티브 컨투어(active-contour) 분할 평가에 함께 영향을 미칠 수 있습니다. 본 연구에서는 크기가 조정된 ISIC 2017 미러 데이터셋에서 오픈소스 scikit-image Chan-Vese 구현을 사용하여 이 둘의 상호작용을 조사합니다. 100장의 이미지로 구성된 고정 개발 셋을 통해 공통 입력 채널을 선택한 후, 저장소의 홀드아웃(held-out) 분할에 속한 600장의 전체 이미지를 평가합니다. 기본 및 더 엄격한 레벨셋 허용 오차 조건 하에서 오츠(Otsu) 임계값 처리를 체커보드, 디스크, 오츠 방식으로 초기화된 윤곽선과 비교합니다. 기본 허용 오차에서 오츠 초기화는 체커보드 초기화 대비 평균 이미지 Dice 점수를 0.6011에서 0.6660으로 향상시키며, 이는 0.0649의 대응 차이(95% 이미지 부트스트랩 신뢰구간 [0.0452, 0.0860])를 보입니다. 오츠 임계값 처리 단독으로는 0.6897을 달성합니다. 기본 디스크 초기화 방식은 471장의 이미지에서 단 1회 반복(iteration) 후 중단됩니다. 허용 오차를 엄격하게 설정하면 체커보드 초기화 대비 오츠 시드의 이점이 0.0197로 감소하며, 대부분의 실행이 500회 반복 한계에 도달합니다. 기본 허용 오차에서의 이점 또한 병변 크기 계층(소형 병변 및 대형 병변) 간에 뒤바뀝니다. 이러한 결과는 범용 초기화 방식 대비 개선이 이루어지더라도 임계값 기준선(baseline) 대비 성능 저하와 공존할 수 있음을 보여줍니다. 따라서 향후 평가에서는 정제되지 않은 마스크를 비교 대상으로 유지해야 하며, 초기 필드 정의, 중단 허용 오차, 그리고 관측된 반복 횟수를 함께 보고해야 합니다.
자기공명영상 분할을 위한 다중 해상도 특징 융합 U-Net
Multi-Resolution Feature Fusion U-Net for Magnetic Resonance Imaging Segmentation
의료 영상, 특히 MRI 스캔에서 해부학적 구조를 분할하는 것은 임상 진단과 질병 진행 모니터링에 필수적이다. U-Net 및 그 확장 모델과 같은 심층 학습(Deep Learning, DL) 아키텍처는 의료 이미지 분할 작업에서 매우 효과적이지만, 미세한 세부 정보와 전역적인 맥락 정보를 동시에 보존하는 데 어려움을 겪는 경우가 많다. 이는 해부학적 구조가 불규칙한 경계와 형태, 대비, 크기의 변동을 특징으로 하는 MRI 데이터 분할에서 특히 어려운 문제이다. 이러한 문제를 해결하기 위해, 우리는 서로 다른 해부학적 구조에 대한 MRI 분할을 위한 새로운 DL 아키텍처를 제안한다. 구체적으로, 이 아키텍처는 임의의 U-Net 유사 아키텍처에 쉽게 통합될 수 있는 다중 해상도 특징 융합(Multi-Resolution Feature Fusion, MRFF)이라는 모듈을 도입한다. MRFF는 어텐션(attention) 메커니즘 및 스킵 연결(skip connection)과 함께 인코더-디코더 구조의 모든 레벨에 통합되어 여러 해상도에서 특징을 추출함으로써, 모델이 미세한 세부 정보와 전역적인 맥락 정보를 모두 포착할 수 있게 한다. 우리는 서로 다른 해부학적 대상에 대한 두 가지 공개 벤치마크 MRI 데이터셋에서 MRFFU-Net을 평가하였다; 하나는 척추 MR 스캔에서의 뇌척수액(Cerebrospinal Fluid, CSF) 분할이고, 다른 하나는 Medical Segmentation Decathlon(MSD) 챌린지에서 제공하는 좌심방(left atrium) 심장 분할이다. 실험 결과는 MRFFU-Net이 여러 평가 지표에서 최신(state-of-the-art) 모델들을 능가하며, MRI 분할에서의 효과성을 입증함을 보여준다.
데이터 희소 환경에서 롱테일 출혈성 병변 분할을 위한 합성 학습
Synthetic training for long-tail haemorrhagic lesion segmentation in data-scarce settings
뇌 미세출혈(CMB)과 피질 표재성 철침착증(cSS)은 뇌 소혈관 질환의 영상 바이오마커이지만, 양성 사례 및 복셀 수준 주석의 부족으로 인해 자동화된 분할(segmentation)에 한계가 있습니다. 본 연구에서는 실제 병변 주석 없이도 학습이 가능하며 병변에 대한 방사선학적 기술(description)을 활용하는 롱테일(long-tail) 출혈성 병변 분할용 합성 학습(synthetic training) 프레임워크를 제안합니다. 해부학적 뇌 구획화(brain parcellation)에서 시작하여, 본 프레임워크는 공간적 증강과 복셀 재샘플링을 적용하고, 병변의 위치 및 형태에 대한 임상적 사전 지식을 활용해 절차적으로 cSS 및 CMB 레이블을 삽입하며, 무작위 강도 할당, 블러링, 라이시안(Rician) 노이즈 시뮬레이션을 통해 영상을 합성합니다. 모델은 동적으로 생성된 영상-레이블 쌍으로 학습되었으며, 10건의 cSS 사례와 13건의 CMB 사례에서 수동 윤곽 묘사를 기준으로 평가되었습니다. 제안된 구성은 고전적 필터 기준선(baseline)보다 우수한 성능을 보였습니다. cSS의 경우, 저신호강도 제약 모델이 Frangi 필터보다 더 높은 AUPRC 및 AUROC를 달성했습니다(AUPRC: 0.284 대 0.083, AUROC: 0.907 대 0.731). CMB의 경우, 병변 유사체로서 혈관을 명시적으로 합성함으로써 고전적 기준선 대비 성능이 향상되었습니다(AUPRC: 0.538 대 0.004, AUROC: 0.999 대 0.968). 이러한 결과는 본 제안이 데이터가 희소한 환경에서의 출혈성 병변 분할을 위한 실현 가능한 전략임을 뒷받침합니다.
가상 조영증강 유방 MRI를 위한 병변-게이팅 하이브리드 합성: MAMA-SYNTH 챌린지 솔루션
Lesion-Gated Hybrid Synthesis for Virtual Contrast-Enhanced Breast MRI: A MAMA-SYNTH Challenge Solution
목적: 조영증강 유방 MRI는 정맥 내 가돌리늄 기반 조영제에 의존하며, 이는 조영 전(pre-contrast) 영상만으로 조영 후(post-contrast) 모습을 합성하는 방법에 대한 동기를 제공한다. MAMA-SYNTH 챌린지(MICCAI 2026 Deep-Breath 워크숍)는 이러한 합성을 영상 충실도(image fidelity), 종양 관심 영역(tumour region of interest), 다운스트림 분류, 다운스트림 분할(segmentation)의 네 가지 지표 그룹에 걸쳐 평가한다. 네 그룹의 순위는 평균화되므로, 단일 목적 함수를 최적화하는 것만으로는 충분하지 않다. 재료 및 방법: 우리는 병변-게이팅(lesion-gated) 하이브리드 합성 파이프라인을 개발했다. 조영 전 영상만을 사용하는 분할 네트워크 앙상블(ensemble)에 의해 조영 전 슬라이스만으로 추정된 병변 확률 지도는, 종양 중심 회귀(regression) 경로와 배경 중심 Pix2PixHD 합성 경로를 공간적으로 조율하며, 이후 예측된 조영증강에 대한 영역-의존적 보정이 이어진다. 학습(training)에는 환자 단위 분할을 적용한 공개 MAMA-MIA 데이터 수집을 사용했다. 추론(inference)은 단일 조영 전 2D 슬라이스만을 입력으로 사용하며, 마스크, 조영 후 영상, 영상 기하 정보 이외의 보조 메타데이터는 사용하지 않는다. 결과: 내부 검증(validation)(n = 120명의 환자)에서 이 방법은 MSE 0.523, LPIPS 0.185, 종양 영역 SSIM 0.495를 달성했다. 이 방법은 자체 완결형(self-contained) 추론 컨테이너 형태로 비공개 외부 300건 테스트 코호트에 제출되었다. 이 방법은 공식 MAMA-SYNTH 챌린지 리더보드에서 6위를 기록했다. 결론: 조영 전 영상으로부터 도출된, 테스트 시점에도 적용 가능한 병변 확률 지도는 상호 보완적인 종양 중심 회귀와 배경 중심 지각적 합성을 조율할 수 있으며, 이를 통해 다중 지표(multi-metric) 챌린지 환경에서 균형 잡힌 가상 조영증강을 가능하게 한다.
AWR-Net: 3차원 태아 뇌 초음파 합성을 위한 해부학적 구조와 외형 분리
AWR-Net: Decoupling Anatomy and Appearance for 3D Fetal Brain Ultrasound Synthesis
3차원 태아 뇌 초음파(ultrasound)는 비전리 방사선이며 비용 효율적인 영상 기법으로, 포괄적인 해부학적 평가를 위한 풍부한 공간 정보를 제공하지만, 데이터와 주석(annotation)의 부족으로 인해 그 발전이 제한되어 왔다. 이와 대조적으로, 태아 뇌 자기공명영상(magnetic resonance imaging, MRI)은 더 큰 데이터셋과 성숙한 분석 방법에 힘입어 더 발전된 상태이다. 이러한 자원을 활용하기 위해, 해부학적 레이블 맵(label map)은 태아 뇌 MRI에서 초음파로 지식을 전이하기 위한 유망한 모달리티 불변(modality-invariant) 가교 역할을 한다. 그러나 해부학적 구조가 초음파의 외형과 밀접하게 얽혀 있기 때문에 레이블 맵으로부터 초음파 영상을 생성하는 것은 여전히 어려운 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 해부학적 대응 관계 학습과 초음파 외형 적응을 데이터 수준과 모델 수준 모두에서 분리한다. 구체적으로, 우리는 웨이블릿 확산(wavelet diffusion)과 잔차 정제(residual refinement)를 결합한 2단계 프레임워크인 해부학적 웨이블릿 잔차 네트워크(anatomy wavelet residual network)를 제안한다. 첫 번째 단계는 웨이블릿 영역에서 아틀라스(atlas) 쌍을 이용해 레이블 맵으로부터 볼륨을 생성하도록 학습하고, 두 번째 단계는 이미지 영역에서 실제 임상 초음파로부터 유계(bounded) 잔차 보정을 학습한다. 이러한 분리를 통해 정상 및 비정상 해부학적 구조를 일관되게 보존하면서 사실적인 합성이 가능해진다. 실제 태아 뇌 초음파에 대한 실험 결과, 제안하는 방법은 대표적인 합성 방법들보다 우수한 성능을 보였으며, 정규화된 상호상관(normalized cross correlation)은 0.518로 가장 강력한 기준선(baseline)의 0.482 대비 우수했고, 프레셰 인셉션 거리(Fréchet Inception Distance)는 8.905로 가장 강력한 기준선의 13.319 대비 우수했다. 합성 품질을 넘어, 태아 뇌 MRI 레이블 맵으로부터 생성된 볼륨은 특히 중증 비정상 사례에서 다운스트림 분할(segmentation) 성능도 향상시켰다. 종합적으로, 이러한 결과는 제안된 프레임워크가 풍부한 태아 뇌 MRI 자원을 활용하여 3차원 초음파 분석을 발전시킬 잠재력을 지니고 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.