BrainVLM을 개발하여 세계보건기구(WHO) 2021 분류의 12가지 뇌종양 유형을 모두 분류한다. BrainVLM은 예측 신뢰도를 나타내기 위한 불확실성 정량화(uncertainty quantification) 전략과 임상적 근거를 설명하기 위한 방사선학 보고서 생성 모듈을 통합한다. BrainVLM은 40,043명으로부터 수집한 다중 모달 데이터(MRI 스캔, 인구통계학적 정보, 방사선학 보고서)로 학습되었다. 병리학적으로 확인된 뇌종양 환자 5,211명에서 검증하였으며, 여기에는 주요 병원의 hold-out 환자 3,877명과 11개 독립 병원의 환자 1,334명이 포함된다. 또한 AI-임상의 워크플로에서의 임상적 유용성을 검증하기 위해 두 가지 개념 증명(proof-of-concept) 연구를 수행하였다. 1) 경험 수준이 다양한 12명의 신경방사선과 의사가 248건의 후향적 사례를 AI 지원 유무에 따라 해석한 맹검 다독자(multireader) 연구, 2) 수술 전 1,009명의 환자를 BrainVLM과 방사선과 의사가 각각 독립적이고 맹검적으로 평가한 실세계 전향적 연구이다. 추가로 632명의 다기관 코호트를 이용하여 성인형 diffuse glioma의 수술 전 분자 아형(subgroup) 예측에서 BrainVLM의 유용성을 입증하였다. 주요 평가에서 BrainVLM은 macro-AUC 0.85(95% CI: 0.84-0.86)와 F1 점수 0.82(95% CI: 0.81-0.83)를 달성하여 신경방사선과 의사(F1 = 0.80(95% CI: 0.79-0.81))를 능가하였다. 11개 센터에 걸친 외부 검증에서 BrainVLM은 AUC = 0.80(95% CI: 0.79-0.82) 및 F1 = 0.75(95% CI: 0.73-0.78)를 달성하였고, 신경방사선과 의사는 F1 = 0.71(95% CI: 0.69-0.73)이었다. 전향적 실세계 평가에서 BrainVLM은 신경방사선과 의사와 유사한 수준의 성능을 유지하였다.
수술 후 잔존 종양을 추적하는 것은 재발을 조기에 발견하는 데 필수적이지만, 수술 후 교모세포종 분할을 자동화하는 것은 여전히 어려운 과제이다. SwinUNETR과 같은 트랜스포머 기반 아키텍처가 인상적인 결과를 달성했지만, 임상 프로토콜 간 일반화 성능을 검증하는 연구는 거의 없다. 본 논문에서는 MU-GLIOMA-POST 및 UCSF-ALPTDG 데이터셋에 대한 절제 연구(ablation study)를 수행하고, 표준 Generalized Dice Loss(GDL)가 도메인 이동(domain shift) 하에서 불안정함을 보임을 밝힌다. Whole Lesion(WL) Dice는 내부 검증 세트에서 0.88이었으나 외부 UCSF 테스트 세트에서는 0.73으로 하락한다. 이를 해결하기 위해 뇌 마스크 기반 백분위 정규화(percentile normalization)를 복셀 수준 대조 학습(voxel-level contrastive learning)과 결합한다. 또한 보틀넥(bottleneck) 특징을 재보정하고 내부 검증에서 Enhancing Tumor(ET) 민감도를 8%(상대적 9.1% 향상) 높이는 Subspace-Aware Class Attention(SACA) 모듈을 제안한다. 이러한 개선 사항을 nnU-Net과 앙상블하면 모든 안정적인 구성이 WL Dice 0.94에 도달하며, SACA 변형 앙상블은 MU-GLIOMA-POST에서 최고의 경계 오류(HD95) 2.92 mm를 달성한다.
뇌종양 진행은 공간적으로 이질적인 성장, 환자별 치료 반응, 주변 해부학과의 복잡한 상호작용을 보여 정확한 장기 예측을 어렵게 만든다. 우리는 뇌종양 진화 예측 및 치료 일정 수립을 위한 AI 증강 적응형 디지털 트윈(DT) 프레임워크를 제안한다. 이 프레임워크는 해석 가능한 반응-확산(RD) 모델, 모델 형태 보정을 위한 3D 잔차 학습 모듈, 재귀적 롤아웃 동안의 환자 특이적 DT 업데이트, 제약이 있는 화학요법 및 방사선치료 일정 수립을 위한 모델 예측 제어(MPC)를 통합한다. 120단계 진화를 갖는 387개의 합성 종양 궤적에 대한 실험은 기준선 RD 모델이 종양 위치와 전반적인 시간적 거동을 포착하지만 장기 예측에서 이질적인 종양 부담을 과소평가함을 보여준다. 하이브리드 RD-잔차 모델링은 밀집 시뮬레이션 관측 하에서 RD 기준선 대비 마스크된 복셀 단위 평균 제곱 오차를 84.3% 감소시키고 Dice 겹침을 43.5% 증가시킨다. 온라인 DT 업데이트는 업데이트되지 않은 하이브리드 모델과 비교하여 평균 제곱 오차를 추가로 45.9% 감소시키고 Dice 겹침을 9.6% 개선한다. MPC 기반 스케줄링 시뮬레이션에서, 업데이트된 DT 컨트롤러는 종말 부담 목적함수 하에서 고정 치료 일정 대비 최종 종양 부담을 22.4% 감소시킨다. 종합하면, 이 결과들은 환자 특이적 초기화, 기전적 모델링, 적응형 학습, 제약이 있는 치료 최적화를 위한 통합 프레임워크를 보여준다. 임상 종단 데이터가 아닌 환자 데이터에 기반한 합성 궤적으로 검증되었지만, 제안된 프레임워크는 실제 세계의 적응형 치료 계획으로의 향후 전환을 위한 기반을 마련한다.
자기 공명 영상(MRI)의 노이즈는 종양 경계가 불분명하거나 종양의 위치와 모양이 복잡할 때 심층 학습(DL)에 어려움을 야기합니다. 따라서 우리는 뇌 종양 분류 성능을 향상시키기 위해 MRI 이미지에서 공간적, 문맥적, 순차적 특징을 추출하기 위해 합성곱 신경망(CNNs), 비전 트랜스포머(ViT), 게이트 순환 유닛(GRUs)을 결합하는 BrainFusionNet을 개발했습니다. 또한, SHAP, LIME, GradCAM과 같은 설명 가능한 AI(XAI) 기술을 통합하여 BrainFusionNet의 의사 결정 과정에 기여하는 이미지 영역을 시각화하고 강조합니다. 제안된 BrainFusionNet 모델은 공개적으로 제공되는 두 개의 MRI 데이터셋에서 평가되었으며, K-겹 검증(K-fold validation) 결과 두 데이터셋 모두에서 98%의 정확도를 보여주었습니다. 해당 모델은 6개의 최신(SOTA) CNN 및 전이학습(transfer learning) 방법들과 비교되었습니다. SOTA CNN 중 DenseNet121과 VGG16이 96%의 가장 높은 정확도를 달성했습니다. BrainFusionNet의 독창성은 소규모 종양 영역과 작은 종양 크기에서도 하이브리드 모델이 MRI 이미지로부터 국소 및 전역 특징을 효과적으로 추출한다는 점에 있습니다. 이 모델은 저수준 및 심층 계층 특징을 포착하는 균형 잡힌 순차적 CNN 아키텍처를 갖추고 있으며, 국소 특징을 포착하는 맞춤형 ViT는 그래디언트 흐름을 안정화하고 MRI 이미지 학습(training) 중 그래디언트 소실(vanishing gradients) 위험을 감소시킵니다. CNN과 ViT의 출력은 최종 분류(classification)를 위해 GRU로 입력됩니다. 또한, 우리는 MRI 이미지 품질이 이미지 분류(classification)에 영향을 미치는지 확인하기 위해 픽셀 강도를 분석했습니다. 우리의 연구 결과는 MRI 이미지 내 픽셀 강도의 분포가 DL 성능에 영향을 미친다는 점에서 이미지 해석 측면에서 매우 독창적입니다.