MRI 시퀀스 합성은 환자 고유의 해부학적 구조를 보존하면서 결측된 영상 대비를 복원하는 것을 목표로 합니다. 생성 메커니즘의 선택은 최적화(optimization)뿐만 아니라 소스 정보가 합성된 영상에 전달되는 방식 모두에 영향을 미칩니다. 본 연구에서는 쌍을 이루는(paired) MRI 합성을 위해 결정론적 소스-타깃 매핑을 학습하는 지도형 독립 융합 기반 생성기인 SRUG를 제안합니다. 이 모델의 직접 재구성 정식화는 생성기-판별기 간 경쟁을 제거하며, 변분 잠재 샘플링이나 반복적인 확산(diffusion) 디노이징을 필요로 하지 않습니다. 이러한 정식화 내에서 구조적 충실도를 지원하기 위해, SRUG는 풀 해상도 합성곱 스템, 풀링(pooling)으로 분리된 특징 단계, 잔차 브랜치에 임베딩된 채널 재보정을 갖추고 영상 재구성에 맞게 조정된 잔차 인코더를 사용합니다. 중첩 다중 스케일 디코더(NMD)는 결과 공간 특징들을 반복적으로 융합하고 단일 출력 헤드를 통해 타깃 시퀀스를 예측합니다. L1 손실(loss)과 다중 스케일 구조적 손실(MSS loss)이 예측을 공동으로 지도하여, 직접 생성 목표를 해부학적 세부 정보 복원과 연결합니다. BraTS 2023 데이터셋에 대한 실험은 세 가지 MRI 변환 태스크 전반에서 경쟁력 있는 재구성 충실도와 구조적 일관성을 보여줍니다. 아키텍처 절제 연구는 동일한 생성기 프레임워크 내에서 채널 재보정, NMD, 구조적 지도의 효과를 평가합니다. IXI 데이터셋에 대한 추가 평가는 또 다른 데이터셋 및 모달리티 쌍에 대한 적용 가능성을 뒷받침하며, BraTS 2019에 대한 제로샷(zero-shot) 테스트는 데이터셋 간 전이 가능성에 대한 예비적 증거를 제공합니다. 이러한 결과는 조정된 인코딩 및 재구성 경로가 구조 보존의 기초를 제공함으로써 직접 지도 생성이 쌍을 이루는 MRI 시퀀스 합성에 실용적인 접근법임을 뒷받침합니다. SRUG 구현체는 https://github.com/RisingRich/SRUG 에서 공개되어 있습니다.
AI-driven image-to-image synthesis is rapidly advancing, with growing applications in medical imaging. Multi-modal image analysis plays a crucial role in optimizing examination quality, yet acquiring multiple imaging modalities in clinical settings remains resource-intensive and time-consuming, especially for 3D imaging. To address this challenge, we propose a novel image-to-image translation model based on Brownian Bridge Diffusion Models (BBDM), which synthesizes magnetic resonance imaging (MRI) sequences from 2D axial slices. Our approach integrates a variational encoder-guided diffusion mechanism, leveraging probabilistic image distributions to enhance synthesis quality. Evaluated on the BraTS 2021 dataset, our Probabilistic-BBDM (Prob-BBDM) achieves superior performance across multiple translation tasks, reaching up to 88.46% SSIM and 26.09 dB PSNR, with consistent improvements over baselines. Notably, our diffusion process requires only 4 steps, making it computationally efficient while maintaining high-quality synthesis. To further validate generalizability, we test Prob-BBDM on an external third-party dataset, demonstrating consistent performance across domains. Additionally, we assess the clinical utility of the synthesized slices by using them as input to a pre-trained segmentation model. Tumor segmentation yields a Dice score of 88.71% and an HD95 of 3.49 mm, confirming that the synthesized slices preserve critical diagnostic information. These results highlight the potential of Prob-BBDM for high-quality, efficient, and generalizable MRI synthesis, offering a promising step toward improved medical image translation.
생성형 머신러닝 모델의 최근 발전은 의료 영상을 크게 향상시켜, 데이터 증강(data augmentation), 프라이버시 보존, 그리고 개선된 모델 일반화(model generalization)를 위한 유망한 해결책을 제공합니다. 그러나 신경 퇴행과 관련된 미세하고 영역 특정적이며 점진적인 해부학적 변화로 인해, 알츠하이머병(AD)을 위한 고품질 구조적 MRI 데이터를 합성하는 것은 여전히 어려운 과제입니다. 본 논문에서는 원래 뇌 종양 합성을 위해 설계된 Med-DDPM 조건부 확산 모델을 확장하여, AD에 특화된 3D 구조적 MRI를 생성하도록 적용했습니다. 우리는 다른 생성 모델과 비교하여 입증된 안정성과 구조적 충실도(structural fidelity) 때문에 Med-DDPM을 채택했으며, 이는 AD의 특징적인 미세한 해부학적 변화를 포착하는 데 특히 적합합니다. 우리의 접근 방식은 ADNI 데이터셋에서 파생된 해부학적 분할 마스크(anatomical segmentation masks)에 확산 과정을 조건화(conditioning)하여, 생성 과정에 주요 AD 관련 뇌 구조를 통합합니다. 우리는 실제(real), 합성(synthetic), 및 하이브리드(혼합) 데이터셋에서 분할 모델을 학습(training)시킴으로써 합성 이미지의 품질과 유용성을 체계적으로 평가했습니다. 실험 결과, 합성 데이터로만 학습된 분할 모델이 실제 데이터로 학습된 모델(0.6513)과 유사한 Dice 점수(0.6532)를 달성하면서도 현저히 향상된 재현율(recall)을 나타내는 것으로 나타났습니다. 특히 하이브리드 데이터셋(실제 및 합성 이미지 혼합)에서 학습된 모델은 실제 및 합성 전용 기준선(baseline) 모두를 능가하여 0.7244의 Dice 점수를 달성했습니다. 이러한 발견은 해부학적으로 정확하고 AD 특정적인 합성 MRI를 생성하기 위한 조건부 확산 모델의 성공적인 활용을 강조하며, 신경 영상 연구에서 학습 데이터 가용성 향상, 진단 정확도 개선, 연구 재현성 촉진에 대한 잠재력을 부각합니다.
다중 대비 자기공명영상(MRI)은 임상 진단에 상호 보완적인 정보를 제공합니다. 그러나 모든 MRI 시퀀스를 획득하는 것은 종종 시간이 많이 걸리고 비용이 많이 듭니다. 최근 생성 모델들은 사용 가능한 대비로부터 누락된 대비를 추론하여 이 문제를 해결하기 위해 대비 간 합성을 수행합니다. 그럼에도 불구하고, 3D MRI 합성은 상당한 도전 과제를 제시합니다. 막대한 볼륨 크기로 인해 픽셀 공간에서 직접 연산하는 것은 계산적으로 매우 비용이 많이 들므로, 일반적인 접근 방식은 3D 볼륨을 먼저 잠재 공간으로 압축한 후 해당 공간에서 생성 모델을 학습시키는 것입니다. 우리는 기존 압축 아키텍처가 장거리 해부학적 일관성을 충분히 보존하지 못하고, 임상적으로 의미 있는 의미론을 버리며, 과도하게 평활화된 재구성을 초래하는 최적화 목적 함수에 의존한다는 몇 가지 치명적인 문제에 직면해 있음을 관찰했습니다. 결국 이러한 단점들은 후속 생성 모델의 성능을 저해합니다. 본 연구에서는 3D MRI 재구성 및 대비 간 합성을 위한 의미 우선 잠재 모델링 프레임워크를 제안합니다. 구체적으로, 우리는 전역 해부학적 의존성을 포착하여 일관된 볼륨 표현을 보장하는 잠재 조화 인코더(LHE)를 도입합니다. 잠재 압축 중 의미론적 열화를 완화하기 위해, 우리는 자기 지도 학습 의미론 교사로부터 고수준 사전(priors)을 주입하여 잠재 공간 내 대비 인식 분리성을 향상시키는 의미 복구 블록(SRB)을 추가로 설계했습니다. 또한, 진단적으로 관련 있는 고주파 구조를 적응적으로 보존하는 해부학 인식 주파수 손실(AFL)을 제안합니다. 두 개의 공개 다중 대비 MRI 데이터셋에 대한 광범위한 실험을 통해 재구성 충실도와 대비 간 합성 품질에서 일관된 개선이 입증되었습니다. 우리의 코드는 https://github.com/script-Yang/RSF 에서 확인할 수 있습니다.
이용 가능한 모달리티를 통한 다중 모달 MRI 뇌 이미지 변환은 현대 의학에서 실질적으로 중요한 의의를 지니며, 질병의 조기 진단, 치료 계획 및 결과 평가에 강력한 지원을 제공한다. 이를 위해 변환 후 종양 영역의 충실도를 보장하는 것이 중요하다. 그러나 기존 뇌 이미지 변환 방법들은 서로 다른 종양 영역의 구조 정보를 간과하는데, 이 정보는 변환 모델이 생성 이미지의 품질과 임상 적용 가능성을 향상시키는 데 기여할 수 있다. 본 연구에서는 뇌 이미지 변환 품질 향상을 목표로 종양 영역 내 구조 정보를 통합한 통합 다중 모달 뇌 이미지 변환 생성적 적대 모델(GAN)인 HTSCGAN을 제안한다. 구체적으로, 생성자는 서로 다른 패치 크기를 가진 세 개의 패치 대비 모듈(Patch Contrast Module, PCM)을 활용하여 종양 영역의 계층적 구조 정보를 포착한다. 또한, 사전학습된 패치 분류기(Patch Classifier, PC)와 사전학습된 구조 인식 인코더(Structure-Aware Encoder, SAE)를 각각 패치 분류 손실(patch classification loss)과 종양 지각 손실(tumor perceptual loss)에 적용하여, 정답 이미지와 동일한 종양 영역 구조를 포함하는 생성 이미지를 도출한다. BraTS2020 및 BraTS2021에 대한 실험 결과, 변환 태스크와 다운스트림 분할(segmentation) 태스크 모두에서 제안 모델의 우수한 성능이 확인되었으며, 변환된 뇌 이미지의 품질 및 임상적 유용성 향상에 있어 모델의 효과가 입증되었다. 코드는 https://anonymous.4open.science/r/HTSCGAN에서 공개되어 있다.
배경 및 목적: 국소 피질 이형증(FCD)의 자동 검출에는 대량의 복셀 단위 병변 경계 MRI 데이터가 필요하며, 이를 확보하기 어렵다. 본 연구는 FCD를 나타내는 합성 MRI 데이터를 생성하고, 그 사실성을 평가하며, 특히 수동 주석의 필요성을 줄이는 측면에서 자동 FCD 검출에 미치는 영향을 평가하는 것을 목표로 한다. 방법: 3개 기관의 FCD 환자 131명과 건강 대조군 90명의 T1 가중(T1w) 및 T2 가중 억액 반전 회복(Fluid-Attenuated Inversion Recovery, FLAIR) MRI 스캔을 후향적으로 연구하였다. 합성 MRI는 이진 FCD 마스크에 조건을 걸어 생성 네트워크로 생성하였다. 두 명의 신경 방사선과 전문의가 무작위로 구성된 14장의 실제 스캔과 14장의 합성 스캔 중 실제 영상을 식별하였다. FCD 검출을 위해 3개의 nnU-Net 모델을 학습하였다: (i) 실제 데이터만(35 FCD / 35 대조군), (ii) 실제 데이터(35 FCD / 35 대조군)와 합성 증강, (iii) 확장된 실제 데이터(70 FCD / 70 대조군). 결과: 전문가들은 실제 영상과 합성 영상을 구분하는 능력이 제한적이었으며, T1w에서 분류 정확도 60%, FLAIR에서 70%였다(평가자 간 일치도 kappa = 0.86). 합성 데이터로 자동 FCD 검출을 증강하면 민감도가 8.14% 증가하였고(p = 0.12), 실제 병변 부위에서의 모델 신뢰도가 향상되었다(0.83 ± 0.11에서 0.89 ± 0.12; p = 0.02). 확장된 실제 데이터 모델은 민감도를 73.8%까지(p < 0.001), 신뢰도를 0.90 ± 0.14까지(p = 0.01) 더욱 향상시켰다. 결론: 조건부 생성 네트워크는 사실적인 합성 FCD-MRI를 생성할 수 있으며, 동등한 민감도를 유지하면서 라벨링된 데이터 필요량을 약 20% 줄일 수 있다. 이용 가능한 경우, 동등한 양의 실제 데이터가 합성 증강보다 여전히 더 효과적이다.