Foundation models hold promise for generalizable analysis of structural brain magnetic resonance imaging (MRI) scans across diverse populations and imaging conditions. However, existing models typically rely on centralized pretraining using data pooled across cohorts, which is constrained by privacy and data-governance requirements. Moreover, larger cohorts can dominate optimization, underutilizing anatomical information from smaller cohorts and limiting generalization. Here we present BrainFedFM, a structural brain MRI foundation model federatively pretrained on 164,707 three-dimensional scans drawn from diverse real-world data distributions and organized across 42 federated sites. BrainFedFM uses dual-priority federated pretraining, in which spatial-priority masking emphasizes informative anatomical regions during local training, while site-priority aggregation adaptively weights contributions during global aggregation. Across 20 downstream datasets spanning 17 classification, regression and segmentation tasks, BrainFedFM achieved the state-of-the-art performance across seven foundation models, including four centralized models, while showing consistent advantages in classification and regression tasks and strong robustness under underrepresented populations and challenging imaging conditions. These findings demonstrate the generalizability of BrainFedFM and highlight federated pretraining as a practical strategy for developing neuroimaging foundation models from distributed data without pooling raw images.
뇌 MRI를 위한 비지도 이상 탐지(UAD) 방법들은 단일 점수로 순위가 매겨지지만, 이 점수는 거의 보고되지 않는 선택 사항들에 의존합니다. 즉, 각 이상 맵이 참조 데이터와 어떻게 정렬되는지, 임계값이 어떤 데이터에서 어떻게 설정되는지, 어떤 위양성 예산, 지표, 집계 방식 및 병변 정의가 사용되는지 등입니다. 본 논문에서는 이러한 선택 사항들을 명시하고 그 영향을 측정하는 평가 프로토콜인 MIRTO를 제시합니다. MIRTO는 정합(registration) 확인 및 알려진 검정력을 가진 무라벨 진단으로 모든 비교의 기하학적 구조를 제어하고, 검증(validation) 데이터에서만 임계값을 설정하며 테스트에서 실제로 실현된 위양성 체적을 보고하고, 15,552개의 타당한 평가 파이프라인 전반에 걸쳐 각 비교를 반복하며, 다중성 제어가 적용된 대응 피험자 부트스트랩 신뢰구간을 첨부합니다. 동일한 정상 데이터로 학습(training)되고 312명의 BraTS 2020 피험자를 대상으로 테스트된 4가지 UAD 방법에 적용한 결과, MIRTO는 저장된 맵과 참조 데이터 간의 축 순서 불일치로 인해 확산 모델(diffusion model)의 복셀 AUROC가 0.873에서 0.583으로 떨어진 반면 슬라이스 수준 AUROC는 거의 변하지 않았음을 보여주었습니다. 각 지표 내에서 모델 방식은 복셀 AUROC 및 AUPRC 분산의 최소 0.95, Dice의 0.77을 설명했으나, 병변 정의와 적중 기준이 지배적이었던 병변 민감도에서는 0.14만을 설명했습니다. 검증 임계값에서 유의미했던 Dice 우위는 실현된 위양성 부담이 동일할 때 사라졌으며, 엄밀한 항등 분석을 통해 이를 임계값 전이(threshold transfer)의 영향으로 귀속시켰습니다. REFLECT의 잠재 집계 방식을 학습 없이 변경함으로써 동일 부담에서 Dice를 0.052 향상했습니다. 9개의 가설이 명시적 기준에 따라 검정되었으며, 프로토콜 개발에 동일한 코호트가 사용되었으므로 모든 추론(inference)은 탐색적입니다.
뇌 영상에 대한 기존 전장 유전체 연관성 분석(GWAS)은 사전에 정의되었거나 딥러닝으로 도출된 영상 표현형을 제공하지만, 이러한 표현형은 볼륨(volumetric) 스캔 또는 대뇌 피질 표면 메시(cortical surface mesh) 중 하나에서만 추출되므로 각각 뇌 해부학적 구조의 유전적 변이 중 일부만을 포착합니다. 본 연구에서는 복셀 수준의 이미지 강도와 각 표면 정점(vertex)에서의 곡률 및 피질 두께를 포함한 피질 메시 기하학적 정보를 하나의 공유된 영상 특징 세트로 함께 인코딩하는 자기지도(self-supervised) 프레임워크인 MEVA(Mesh-Enhanced Volumetric Autoencoder)를 소개합니다. MEVA에서 메시와 볼륨 입력을 결합하면 두 입력 중 하나만 사용하는 모델에 비해 연령 및 성별 예측에서 소폭의 성능 향상을 얻을 수 있습니다. 이러한 특징들을 UK 바이오뱅크(UK Biobank)의 GWAS 표현형으로 활용했을 때, 볼륨만으로 학습된 특징이나 메시만으로 학습된 특징보다 더 많은 전장 유전체 유의 수준(genome-wide significant) 유전자 좌(loci)를 발견했습니다. 이러한 결과는 볼륨 기반 자기지도 학습에 대뇌 피질 표면 기하학을 추가함으로써 추가적인 유전적 변이를 포착하고 이를 통해 검출되는 유전자 좌의 수를 증가시킬 수 있음을 시사합니다.
주로 서구권 코호트로 구성된 대규모 데이터로 사전학습(pre-training)된 신경영상 파운데이션 모델(foundation model)이 뇌 MRI 분석을 위한 범용 백본(backbone)으로 점점 더 많이 제안되고 있다. 그러나 이러한 모델이 대표성이 낮은 임상 집단에 대해 일반화될 수 있는지는 아직 대부분 검증(validation)되지 않았다. 본 연구에서는 최근 발표된 4개의 파운데이션 모델(BrainIAC, Neuro-JEPA, NeuroVFM, Primus)을 나이지리아 임상 뇌 MRI 데이터셋(dataset)에서 얻은 88명 피험자 코호트를 대상으로, 네 가지 모달리티 구성(T1w, T2w, T1w+T2w, FLAIR)에 걸쳐 대조군(Control), 치매(Dementia), 파킨슨병(Parkinson's disease)을 구분하는 3가지 분류(classification) 진단 과제에서 평가하고, 엔드투엔드(end-to-end)로 학습된 ViT3D 기준선(baseline)과 비교한다. 동결(frozen)된 백본들은 다수 클래스 예측으로 붕괴하는 반면, FLAIR에서의 Neuro-JEPA는 다소 완화되었으나 여전히 제한적인 판별력을 보인다. 반면 엔드투엔드로 학습된 ViT3D는 모든 과제에서 더 높은 정확도와 MCC를 달성하며(최대 정확도 53.4%, MCC=0.27), 유의미한 재현율(recall)을 보이는 유일한 모델이다. 이러한 결과는 동결된 신경영상 파운데이션 모델들이 규모가 작은 비서구권 임상 코호트에서의 세밀한 진단 분류에는 충분하지 않음을 시사하며, 글로벌 헬스(global health) 환경에서의 공평한 배포를 위해 매개변수(parameter) 효율적인 적응(adaptation)과 더 폭넓은 다기관 외부 검증의 필요성을 제기한다.
생체의학 영상 데이터는 영상 장비, 획득 프로토콜, 촬영 기관, 재구성 설정의 차이로 인해 동일한 생체 구조가 현저히 다르게 나타날 수 있는 상당한 획득 변동성(acquisition variability)을 보입니다. 그 결과, 학습된 표현은 기저의 생물학적 정보와 획득 환경에 따른 외형을 얽히게(entangle) 만들어 해석 가능성, 일반화 성능, 임상 적용을 제한하게 됩니다. 본 연구에서는 의료 영상과 획득 메타데이터를 함께 모델링함으로써 이러한 변동 요인들을 분리(disentangle)할 수 있음을 보여줍니다. 대규모 임상 뇌 MRI 데이터를 사례 연구로 활용하여, 해부학적 구조와 조영도(contrast) 의존적 외형을 분리하는 표현을 학습합니다. 그 결과 도출된 프레임워크는 이종 영상 프로토콜의 체계화, 시퀀스 이해, 영상-메타데이터 불일치 및 영상 아티팩트(artifact) 탐지를 가능하게 하는 동시에, 다양한 획득 환경 전반에서 생물학적으로 유의미한 해부학적 특징을 보존합니다. 이러한 분리된 표현을 기반으로 생성 및 변환 기능도 추가로 지원하여, 메타데이터 조건부 사실적 3D 뇌 MRI 합성과 모달리티 간(cross-modality) 및 기관 간(cross-site) 적응을 위한 해부학 구조 보존 조화(harmonisation)를 모두 수행합니다. 본 연구 결과는 획득 변동성이 모델링, 감사(audit), 합성 및 제어가 가능한 영상화 과정의 구조화된 구성 요소임을 입증하며, 대규모 생체의학 영상 분야에서 획득 인식 표현 학습(acquisition-aware representation learning)을 위한 토대를 마련합니다.
White matter hyperintensities (WMH) and ischaemic stroke lesions (ISL) are key imaging biomarkers of cerebral small vessel disease (SVD) detectable on magnetic resonance imaging (MRI). The development of robust deep learning models to automatically segment and differentiate these pathologies remains challenging. Specifically, WMH and ISL frequently co-occur within the same subject and present as visually confounding hyperintensities on fluid-attenuated inversion recovery (FLAIR) sequences, complicating their accurate delineation. To address the scarcity of fully annotated cohorts, we systematically evaluated six accessible strategies for training a joint WMH and ISL segmentation model using partially labelled data. We aggregated privately held and publicly available datasets to curate a large-scale cohort of 2,052 MRI volumes, of which 1341 and 1152 volumes contained ground truth annotations for WMH and ISL, respectively. Our analysis indicates that multiple strategies effectively leverage partially labelled data to enhance overall model performance, with pseudolabelling emerging as the most effective approach. This model exhibited a consistent WMH segmentation policy and successfully detected the majority of FLAIR-positive ISL. These findings demonstrate the viability of using partially labelled data to develop reliable automated segmentation tools, which can support ongoing SVD monitoring and high-throughput biomarker extraction for large-scale clinical research.
자기지도 학습은 라벨 데이터가 부족하고 취득 비용이 높은 의료 영상에 매력적인 접근법을 제공한다. COJEPA를 제시한다. 이는 볼륨 뇌 MRI를 위한 자기지도 학습 프레임워크로, 결합 임베딩 예측 아키텍처(JEPA)와 대조 손실(CO)을 결합하여 지역적 예측성과 전역적 판별 가능성이라는 두 가지 상보적 특성을 목표로 한다. 모델은 두 코호트(HCP-YA 및 AABC, $N{=}2286$, 연령 22~90세)의 T1 강조 구조적 MRI에서 라벨 없이 학습되며, 전경 인식 블록 마스킹, 계층적 합성곱 패치 임베딩, 월드 공간 사인파 위치 인코딩을 통해 I-JEPA를 3D로 확장한다. 제로샷 쌍둥이 검색, 뇌종양 분할(BraTS 2024), 연령 회귀(OpenBHB)에서 세 가지 목표를 모두 평가한다. COJEPA는 rank@1 일란성 쌍둥이 재현율(0.84)에서 최고를 달성하고, 파인튜닝 연령 MAE(OpenBHB 3.0T에서 2.55년)에서 최고를 기록하며, BraTS 전체 종양 Dice에서 CO와 동등한 성능을 보여, 결합 목표가 동시에 판별적이고 지역적으로 구조화된 표현을 산출함을 입증한다.
의료 영상에서 인구통계적 속성을 예측할 수 있어 임상 AI 시스템의 바이어스에 대한 우려가 제기되고 있다. X-ray 영상에서는 촬영(acquisition) 특성이 이러한 예측 가능성에 상당히 기여하는 것으로 나타났다. 뇌 MRI에서도 동일한 현상이 성립하는지는 불분명한데, 해부학적 변이와 촬영에 따른 콘트라스트가 영상 형성 과정에서 깊이 얽혀 있어 인구통계 신호의 기원을 가리기 때문이다.
이를 해결하기 위해, 우리는 분리 표현 학습(disentangled representation learning)에 기반한 통제 프레임워크를 제안하며, 뇌 MRI를 촬영 영향을 억제하는 해부학 중심 표현과 촬영 의존적 특성을 포착하는 콘트라스트 임베딩(embedding)으로 분해한다. 전체 영상, 해부학적 표현, 콘트라스트 임베딩에 대해 연령, 성별, 인종 예측 모델을 학습함으로써 구조와 촬영이 인구통계 신호에 기여하는 상대적 기여도를 정량화할 수 있다.
세 개의 데이터셋과 다양한 MRI 시퀀스에 걸쳐, 인구통계 예측 가능성은 주로 해부학적 변이에 의해 좌우되는 것으로 나타났으며, 해부학 중심 표현은 원본(raw) 영상으로 학습한 모델의 성능을 대체로 유지한다. 콘트라스트 임베딩은 더 약한 신호를 보유하며, 이는 데이터셋 특이적이고 기관(site) 간 일반화되지 않는다.
이러한 결과는 효과적인 완화(mitigation)가 인구통계 신호의 주된 해부학적 기원과 부차적인 촬영 의존적 기원을 명시적으로 고려해야 하며, 바이어스 감소가 도메인 간에 견고하게 일반화되도록 보장해야 함을 시사한다.
해부학적 일관성을 보장하면서 뇌 MRI 종단적 진행을 모델링하기 위해, 기준 해부 구조·임상 공변량·노이즈 추가 추적 상태를 입력 단계에서 직접 융합하고 경량 3D 분할 모델(WarpSeg)로 해부학적 지도를 제공하는 AG-LDM을 제안한다. ADNI 31,713쌍 실험과 OASIS-3 제로샷 평가에서 기존 BrLP 대비 체적 오차 15~20% 감소, 공변량 민감도 3.5~31.5배 향상을 달성하며 알츠하이머 진행 특성인 변연계 위축과 뇌실 확장을 정확히 포착하는 반사실적 궤적 생성이 가능함을 보였다.
뇌 MRI 데이터에서 압축 기반 이상 탐지를 위해 양자 오토인코더(QAE)를 연구한다. 이 접근법은 각도 인코딩(angle encoding)으로 이미지 패치를 양자 상태에 매핑한 뒤, 보조 trash qubit을 통해 정보를 버리도록 학습된 변분 인코더-디코더 아키텍처를 사용한다. 이상 점수는 정상 데이터 대비 입력이 압축을 얼마나 거부하는지를 반영하며, 점수가 높을수록 학습된 정상 매니폴드(manifold)에서의 편차에 해당한다. 공개 뇌 MRI DICOM 데이터셋에서 평가한 결과, 이 방법은 슬라이스 수준 ROC-AUC 약 0.95, 패치 수준 ROC-AUC 약 0.813을 달성하여 고전적 오토인코더 및 PCA 기준선을 능가했다. 학습된 매개변수 분석은 뚜렷한 인코더-디코더 비대칭을 보여주며, 효과적인 이상 탐지는 매개변수 크기 증가나 디코더 표현력이 아니라 인코더 내부의 구조화된 정보 압축에서 비롯된다. 이는 명확한 운용 구간을 갖는 제어된 압축-재구성 트레이드오프를 낳으며, 원칙적인 임계값 선택을 지원한다. 정성적 평가는 QAE가 종양 영역과 정렬된 공간적으로 국소화된 이상 히트맵을 생성함을 추가로 보여준다. 유망한 기준선 성능이 뒷받침하는 결과는, 양자 오토인코더가 학습된 잠재 표현(latent representation)에 대한 비압축성(incompressibility) 기반 이상 탐지를 위한 해석 가능하고 제어 가능한 메커니즘을 제공함을 보여준다. 본 연구는 양자 오토인코더가 양자 머신러닝(quantum machine learning)에서 압축 역학(compression dynamics)을 연구하는 원칙적 도구로서의 잠재력을 강조하며, 의료 영상 워크플로우에서의 의사결정 지원(decision support)에 유망한 함의를 지닌다.
의료 이미지 분류(medical image classification)는 레이블된 데이터의 부족으로 인해 제약을 받는 경우가 많아, 생성적 증강(generative augmentation)의 필요성이 대두된다. 최근 이러한 목적으로 양자 생성 모델이 제안되었으며, 정확도 향상이 자주 보고되고 있다. 그러나 이러한 주장들은 대개 단일 학습 실행에 기반하고, 양자 및 고전 생성기의 매개변수 예산을 맞추지 않으며, 이점이 나타나는 데이터 체제를 특성화하지 않는다. 본 논문에서는 뇌 MRI 증강에 대한 양자 생성기의 기여를 분리하는 통제된 벤치마크를 제시한다. 이미지는 KL 정규화된 잠재 공간(KL-regularized latent space)으로 인코딩되며, 이 공간에서 그래디언트 페널티를 적용한 조건부 와서스타인 생성적 적대 신경망(GAN)(conditional Wasserstein GAN with gradient penalty)이 변분 양자 생성기(variational quantum generator) 또는 매개변수 수가 거의 동일한 고전 생성기(1648 대 1632)를 사용하여 학습된다. 합성 샘플은 디코딩되어 레이블된 데이터 비율 5%에서 100%에 걸쳐 사전학습된 분류기를 증강하는 데 사용되며, 쌍별 유의성 검정(다중 비교 보정 포함)과 집합 내 다양성 및 잠재 분포 분석을 통해 8개의 랜덤 시드에 걸쳐 평가된다. 모든 데이터 비율에서 어떠한 증강 방식도 실제 데이터만을 사용한 학습을 유의미하게 능가하지 못했으며, 양자 생성기와 고전 생성기는 통계적으로 구별되지 않는다. 저데이터 상황에서의 이점은 충실한 데이터 확장이 아닌 정규화로서 작동하는 것으로 나타난다. 즉, 합성 샘플은 데이터가 부족한 경우 분포를 벗어나고 심각한 모드 붕괴(mode collapse)를 보이며, 양자 생성기는 고전 생성기보다 다양성이 높지 않다. 본 논문에서는 의료 영상에서 양자 생성적 증강의 엄밀한 평가를 위한 테스트베드로 해당 프로토콜을 공개한다.
비지도 이상 탐지(UAD)는 레이블이 없는 데이터로 이상을 탐지하는 것을 목표로 하며, 이는 이상 샘플이 드물거나 전혀 없는 많은 머신러닝 애플리케이션에서 필수적입니다. 대부분의 최신 방법들은 두 가지 범주로 나뉩니다. 하나는 종종 이상을 너무 잘 재구성하는 재구성 기반 접근법이고, 다른 하나는 최적이 아닌 특징(feature) 공간 문제를 겪을 수 있는 밀도 추정기를 활용한 분리된 표현 학습입니다. 일부 최신 방법들이 특징(feature) 학습과 이상 탐지를 결합하려고 시도하지만, 이들은 종종 대리 목적(surrogate objectives)에 의존하거나, 커널(kernel) 선택을 제한하거나, 표현력과 강건성을 제한하는 근사치를 도입하는 문제가 있습니다. 이러한 문제를 해결하기 위해, 우리는 잠재 특징(feature)을 OCSVM 결정 경계와 직접 정렬하는 사용자 정의 손실(loss) 공식을 통해, 해석적 해를 구할 수 있는 One-Class SVM (OCSVM)과 표현 학습을 결합하는 새로운 방법을 제안합니다. 이 모델(model)은 MNIST-C 기반 벤치마크와 도전적인 뇌 MRI 병변(lesion) 탐지 작업, 두 가지 과제에서 평가되었습니다. 이미지 수준에서 큰 고강도(hyperintense) 병변에 초점을 맞추는 대부분의 방법들과 달리, 우리의 접근 방식은 복셀(voxel) 단위 지표를 평가하면서 작고 고강도가 아닌 병변을 타겟팅하는 데 성공했으며, 이는 더 임상적으로 관련성 높은 시나리오를 다루는 것입니다. 두 실험 모두 MNIST-C의 손상(corruption) 유형과 MRI의 텍스처 또는 집단 연령 변화를 포함하여, 도메인 변화에 대한 강건성을 평가했습니다. 결과는 제안된 모델(model)의 성능과 강건성을 입증하며, 일반적인 UAD 및 실제 의료 영상 애플리케이션에 대한 잠재력을 강조합니다. 소스 코드는 https://github.com/Nicolas-Pinon/uad_ocsvm_guided_repr_learning 에서 확인할 수 있습니다.