실시간 MRI 치료 안내를 위한 개인화 모델과 파운데이션 모델의 폐루프 결합
Closed-loop coupling of personalised and foundation models for real-time treatment guidance with MRI
한국어 초록
영상 유도 치료(방사선 치료, 생검, 심부 뇌 자극 포함)는 해부학적 구조의 실시간 타겟팅에 의존한다. 그러나 움직임이 존재하는 경우, 영상 지연으로 인해 관측된 해부학과 실제 해부학 사이에 시간적 불일치가 발생하여 치료 정확도가 저하된다. 인공지능 기반 프레임워크가 이 지연 격차를 줄이기 위해 점차 제안되어 왔지만, 선도적인 개인화 모델은 안정적인 해부학적 그라운딩(grounding)의 부재로 인해 실패할 수 있다. 파운데이션 모델(foundation model)은 그라운딩된 동작을 제공할 수 있지만, 실시간 개별 환자 역학에는 적응하지 못한다. 본 논문에서는 환자별 시간적 예측과 파운데이션 모델의 연속적 분할(segmentation) 기반 해부학적 해석을 시너지적으로 결합하는 폐루프 결합 프레임워크를 제안한다. 개인화 모델은 시스템 지연을 보상하기 위해 미래 해부학을 예측하고, 스트리밍 파운데이션 모델은 치료 중 실시간으로 시간적 예측기를 지속적으로 업데이트하는 데 사용되는 해부학적 감독(supervision) 신호를 제공한다. 본 프레임워크는 디지털 팬텀과 MRI 유도 방사선 치료를 받는 환자의 분획 내 자기공명영상(MRI)을 사용하여 검증하였다. 400ms 예측 지평(prediction horizon)에서 제안된 방법은 임상적으로 유의미한 지연 제약 내에서 기존 접근법과 비교하여 해부학적 예측을 개선하고 선량 오차를 줄인다. 이러한 결과는 폐루프 결합이 실시간 영상 유도 중재를 위한 범용 전략임을 확립한다.
원문 초록
Image-guided therapies, including radiotherapy, biopsy and deep brain stimulation, rely on real-time targeting of anatomical structures. However, in the presence of motion, imaging latencies create a temporal misalignment between observed and true anatomy, compromising treatment accuracy. Artificial intelligence-based frameworks have increasingly been presented to close this latency gap, but leading personalised models can fail due to a lack of stable anatomical grounding. Foundation models can provide grounded behaviour, but they do not adapt to real-time, individual patient dynamics. Here we introduce a closed-loop coupling framework that synergises patient-specific temporal prediction with continuous segmentation-based anatomical interpretation from a foundation model. A personalised model predicts future anatomy to compensate for system latency, while a streaming foundation model provides anatomical supervision used to continuously update the temporal predictor in real time during treatment. We validate the framework using a digital phantom and intrafraction magnetic resonance imaging (MRI) from patients undergoing MRI-guided radiotherapy. For a prediction horizon of 400 ms, the proposed method improves anatomical prediction and reduces dosimetric error compared with existing approaches, within clinically relevant latency constraints. These results establish closed-loop coupling as a general strategy for real-time image-guided intervention.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.00500v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Crosslink-Net: Double-Branch Encoder Network via Fusing Vertical and Horizontal Convolutions for Medical Image Segmentation
기계는 비언어적으로 추론할 수 있는가?
Can machines reason non-verbally?
현대 기계는 방정식을 풀고 논리를 따르며 언어를 통해 추론할 수 있지만, 시각적 비언어적 추론이 필요한 문제에서는 여전히 어려움을 겪고 있습니다. 이는 추상적 패턴 완성이나 모호한 관심 영역(ROI) 묘사와 같은 시각적 과제에서 여전히 한계를 보이는 DeepSeek, ChatGPT, Gemini와 같은 첨단 시스템에서도 뚜렷하게 나타납니다. 논리나 자동화된 테스트를 통해 검증할 수 있는 언어적 추론의 명시적인 중간 단계와 달리, 시각적 추론은 명확한 검증 방법이 없는 암묵적인 중간 단계를 수반합니다. 따라서 비언어적 추론은 모델링하기가 까다로우며, 그 결과 현재 기계 지능의 근본적인 한계로 남아 있습니다. 본 연구에서는 생성, 검증, 최적화를 기계의 추론 파이프라인으로 통합하는 범용 프레임워크인 GenVerOpt를 소개합니다. GenVerOpt는 후보 해를 생성하고 그 정확성을 검증하며 반복적으로 개선함으로써, 모델 학습(training) 중에 포착된 데이터셋(dataset) 수준의 경향성에만 의존하기보다 샘플별 최적화를 가능하게 합니다. 이 과정은 올바른 해결책이 도출될 때까지 여러 가능성을 구상하고 평가하며 다듬는 인간의 문제 해결 방식을 반영합니다. 다양한 도메인에 걸쳐 GenVerOpt는 기존 시스템을 뛰어넘는 역량을 입증합니다. 즉, 추상적 IQ 퍼즐에서 인간을 능가하고, 전립선암 분할에서 임상의 수준에 도달하며, 간 혈관 재구성에서 전문가를 뛰어넘고, 종양 경계 정렬에서 최신(SOTA) 접근법보다 우수한 성능을 보입니다. 이러한 결과는 기계의 추론이 언어를 넘어 확장될 수 있음을 보여주며, 시각적 비언어적 추론을 보다 유연하고 일반화 가능한 지능의 토대로 확립합니다.
알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습
Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research
알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.
유방암 생검으로부터 선행항암요법 반응을 예측하기 위한 전사체 기반 멀티모달 AI
Transcriptome-informed multi-modal AI for predicting neoadjuvant therapy response from breast cancer biopsies
라벨링된 데이터의 부족은 종양학 분야에서 심층 학습(deep learning) 기반 바이오마커 개발을 제한합니다. 본 연구에서는 유방암 환자의 선행항암요법에 대한 병리학적 완전 관해(pCR)를 예측하는 2단계 AI 모델(model)을 개발했습니다. 첫 번째 단계는 32개 암종에 걸친 8,742명의 환자 데이터를 활용하여 조직병리학 이미지로부터 전사체를 학습하며, 이는 병리학자 검토와 측정된 발현량과의 공간적 일치도를 통해 입증되었습니다. 이를 통해 두 번째 단계는 추론(inference)된 발현량과 임상 변수로부터 pCR을 예측하는 것으로 단순화됩니다. 1,080명의 환자(5개 코호트)를 통해 개발되고 1,412명의 환자(9개 코호트)에서 평가된 이 모델은 풀링된 AUROC 0.79(95% CI, 0.73-0.85)를 달성하며 분자 아형 내에서 반응군을 변별합니다. 본 모델은 조직병리학적 바이오마커보다 우수한 성능을 보이며, 종양 내 표본 추출 전반 및 최소한의 생검 조직만으로도 안정성을 유지합니다. 제거 연구(ablation) 결과, 전사체 전반의 추론이 임상 변수 단독 또는 1단계 병리 모델 대비 변별력을 향상시키고 유전체 분석의 유전자 선택 제약을 피함으로써 견고성을 확보함을 보여줍니다. 이러한 결과는 생물학적 정보를 반영한 압축 방식이 정밀(precision) 종양학의 데이터 희소 응용 분야로 일반화될 수 있음을 시사합니다.
확산 기반 의료 영상 합성에서 의미론적 정확성의 대리 지표로서의 불확실성
Uncertainty as a Proxy for Semantic Correctness in Diffusion-Based Medical Image Synthesis
확산 모델(Diffusion model)은 조영 증강 CT(CECT)를 비조영 CT(NCCT)로부터 합성할 수 있어 조영제 투여와 그에 따른 환경적 비용 및 환자 접근성 비용을 줄일 수 있다. 그러나 시각적으로 사실적인 이미지가 반드시 해부학적으로 정확한 것은 아니며, 생성 품질을 평가하는 데 사용되는 픽셀 강도 및 특징 공간 유사도 지표는 해부학적 정확성을 직접 측정하지 못한다. 본 연구에서는 확산 기반 의료 영상 합성에서 불확실성(uncertainty)이 의미론적 정확성(semantic correctness)의 대리 지표로 기능할 수 있는지 조사한다. 우리는 CECT 영상과 내강 분할(lumen segmentation)을 공동으로 생성하는 멀티태스크 확산 프레임워크인 AortaDiff를 활용하여 NCCT-to-CECT 합성을 연구한다. 분할 출력은 생성된 혈관 해부학에 대한 명시적 표현을 제공하여 분할 기반 오차를 생성 정확성의 정량적 척도로 사용할 수 있게 한다. 가중치(Ensemble, HyperDiff, BayesDiff), 아키텍처 섭동(MCDropout), 생성 확률성(RDS), 입력 섭동(TTA) 불확실성을 아우르는 6가지 방법을 픽셀, 영역, 이미지 수준에서 비교하고, 임상적으로 유의미한 분포 외(OOD) 케이스 탐지에 대해 평가한다. 불확실성은 세 가지 공간적 척도 모두에서 유의미한 정보를 제공하며, 분포 이동(distribution shift)이 존재하는 외부 다기관 데이터셋에서도 유효성을 유지하고 OOD 탐지를 지원함을 확인했다. 특히 6가지 방법 중 MCDropout이 두드러졌다. 모든 척도에서 선도적인 방법 중 하나로 평가받았으며, 외부 데이터셋에서도 우수한 일반화 성능을 보였고, 이미 드롭아웃으로 학습된 모든 모델에서 추론 시 바로 활성화할 수 있어 추가적인 학습 비용 없이 신뢰할 수 있는 불확실성을 제공한다. 불확실성은 심각한 실패 사례를 신뢰성 있게 감지하지만, 이미 고품질인 이미지들 사이에서는 구별력이 떨어진다. 이러한 발견은 불확실성이 NCCT-to-CECT 합성에서 품질 필터링, 신뢰성 평가 및 OOD 탐지를 위한 실용적이고 계산 효율적인 신호로 활용될 수 있음을 뒷받침한다.
불확실성 유도 핸드셰이크: 수술 등급 신경교종 분할을 위한 효율적인 인간 참여형 정제
Uncertainty-Guided Handshake: Efficient Human-in-the-Loop Refinement for Surgical-Grade Glioma Segmentation
의료 이미지 분할(image segmentation)을 위한 최신 자동화 모델은 높은 평균 성능을 달성하지만, 특히 신경종양학 분야에서 안전한 임상 적용을 가로막는 국소적이고 치명적인 실패를 빈번하게 겪습니다. 대화형 분할 프레임워크는 인간의 감독을 통합하여 이를 완화하지만, 전통적으로 임상의가 오류를 직접 찾아내도록 요구함으로써 과도한 인지적 및 시간적 부담을 초래합니다. 본 연구에서는 자동화된 기준선(baseline) 성능과 수술 등급 정밀도(precision) 사이의 간극을 메우는 효율적인 하이브리드 구조적-우연적 인간 참여형(Human-in-the-Loop) 신경교종 분할 프레임워크를 제시합니다. 이 프레임워크는 큐레이션된 벤치마크에서 2.0 mm 미만의 HD95를 달성하는 동시에 실제 임상 데이터 전반의 구조적 실패에 대한 안전망 라우팅을 제공합니다. 복셀 단위의 테스트 시점 증강(TTA) 불확실성을 추출하고 계층적 위상 필터링을 적용함으로써, 본 제안 방법은 고위험 구조적 이상치를 선제적으로 격리합니다. 연구진은 까다로운 분포 외(out-of-distribution) 임상 스트레스 테스트 코호트(N = 362)를 대상으로 본 접근법을 종합적으로 평가했습니다. 시뮬레이션된 인간 오라클(Human Oracle) 환경에서 본 프레임워크는 전체 종양(WT) Dice 점수를 0.891에서 0.914로 향상시켰고, 95번째 백분위수 하우스도르프 거리(HD95)를 5.82 mm에서 4.76 mm로 단축했습니다. 수술 안전성에 매우 중요하게도, 시스템은 종양 핵심(TC) 영역의 심각한 경계 오류를 복구하여 평균 HD95를 17.96 mm에서 14.83 mm로 감소시켰습니다(절대 TC Dice는 0.356으로 향상). 이러한 공간적 복구는 목표 체적의 11.3%에 불과한 중앙값 대화형 작업량만 요구하면서 달성되었습니다. 이것이 실제 인지적 마찰이 배제된 시뮬레이션상의 상한선이라는 점을 인정하더라도, 본 프레임워크는 임상 AI를 안전하게 배포하기 위한 매우 파레토 효율적인(Pareto-efficient) 경로를 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.