유방암 생검으로부터 선행항암요법 반응을 예측하기 위한 전사체 기반 멀티모달 AI
Transcriptome-informed multi-modal AI for predicting neoadjuvant therapy response from breast cancer biopsies
한국어 초록
라벨링된 데이터의 부족은 종양학 분야에서 심층 학습(deep learning) 기반 바이오마커 개발을 제한합니다. 본 연구에서는 유방암 환자의 선행항암요법에 대한 병리학적 완전 관해(pCR)를 예측하는 2단계 AI 모델(model)을 개발했습니다. 첫 번째 단계는 32개 암종에 걸친 8,742명의 환자 데이터를 활용하여 조직병리학 이미지로부터 전사체를 학습하며, 이는 병리학자 검토와 측정된 발현량과의 공간적 일치도를 통해 입증되었습니다. 이를 통해 두 번째 단계는 추론(inference)된 발현량과 임상 변수로부터 pCR을 예측하는 것으로 단순화됩니다. 1,080명의 환자(5개 코호트)를 통해 개발되고 1,412명의 환자(9개 코호트)에서 평가된 이 모델은 풀링된 AUROC 0.79(95% CI, 0.73-0.85)를 달성하며 분자 아형 내에서 반응군을 변별합니다. 본 모델은 조직병리학적 바이오마커보다 우수한 성능을 보이며, 종양 내 표본 추출 전반 및 최소한의 생검 조직만으로도 안정성을 유지합니다. 제거 연구(ablation) 결과, 전사체 전반의 추론이 임상 변수 단독 또는 1단계 병리 모델 대비 변별력을 향상시키고 유전체 분석의 유전자 선택 제약을 피함으로써 견고성을 확보함을 보여줍니다. 이러한 결과는 생물학적 정보를 반영한 압축 방식이 정밀(precision) 종양학의 데이터 희소 응용 분야로 일반화될 수 있음을 시사합니다.
원문 초록
Scarcity of labeled data limits development of deep learning biomarkers in oncology. We develop a two-stage AI model predicting pathological complete response (pCR) to neoadjuvant therapy in breast cancer. The first stage learns the transcriptome from histopathology using 8,742 patients across 32 cancer types, corroborated by pathologist review and spatial agreement with measured expression. This simplifies the second stage to predicting pCR from inferred expression and clinical variables. Developed using 1,080 patients (five cohorts) and evaluated in 1,412 patients (nine cohorts), the model achieves a pooled AUROC of 0.79 (95% CI, 0.73-0.85), discriminating responders within molecular subtypes. It outperforms histopathological biomarkers, remaining stable across intratumoral sampling and with minimal biopsy tissue. Ablations show transcriptome-wide inference improves discrimination over clinical variables alone or one-stage pathology models, and robustness by avoiding genomic assays' gene selection constraints. These results indicate that biologically informed compression may generalize to data-sparse applications in precision oncology.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
자동 신세포암 등급 분류를 위한 조직병리학 및 CT 기반 교차 모달 대조 학습
Cross-Modal Contrastive Learning from Histopathology and CT for Automated Renal Cell Carcinoma Grading
배경: 투명세포 신세포암(ccRCC)은 상당한 임상적 이질성을 보이며, 위험 계층화 및 치료 계획 수립을 위해서는 정확한 등급 평가가 필수적이다. 그러나 기존의 등급 평가는 침습적인 조직 채취를 필요로 한다. 본 연구에서는 비침습적인 CT 기반 ccRCC 등급 예측을 개선하기 위해 학습(training) 중 쌍을 이룬 조직병리학 및 컴퓨터 단층촬영(CT) 데이터를 활용하는 교차 모달 대조 학습(cross-modal contrastive learning) 프레임워크인 RCC-Align을 개발했다. 방법: RCC-Align은 대조 교차 모달 목적함수를 통해 쌍을 이룬 전체 슬라이드 조직병리학 이미지(WSI)와 CT 스캔을 정렬하여 미시적인 조직 형태학으로부터 거시적인 방사선학적 표현으로 등급 판별 정보를 전달한다. 이 프레임워크는 환자 수준의 5겹 교차 검증(validation)을 사용하여 쌍을 이룬 TCGA 및 CPTAC 코호트에서 학습 및 평가되었다. 저등급 대 고등급 ccRCC 분류(classification) 성능을 CT 전용 베이스라인(DINOv2-Base 및 DINOv2-Finetuned)과 WSI 기반 참조 모델(model)(GigaPath-Finetuned)과 비교했다. 교차 모달 정렬은 코사인 유사도 분석을 사용하여 평가되었다. 결과: RCC-Align은 0.601의 AUC(95% CI, 0.524-0.673) 및 0.599의 AUPRC(95% CI, 0.541-0.676)를 달성하여 유의하게 향상된 저등급 예측 성능(p = 0.004)과 함께 DINOv2-Finetuned(AUC 0.545, AUPRC 0.543)를 능가했다. 또한 RCC-Align은 베이스라인과 비교하여 더 강력한 쌍 WSI-CT 임베딩(embedding) 정렬을 보였다. WSI 기반 GigaPath 참조 모델은 0.719의 AUC를 달성했다. 결론: 병리학 유도 대조 학습은 추론(inference) 시 CT만 필요로 하면서도 CT 기반 ccRCC 등급 분류를 개선한다. 이러한 접근법은 생검이 안전하지 않거나 불가능하거나 종양 내 이질성으로 인해 제한될 때 조직 진단을 보완할 수 있다. 임상적 적용 전 외부 테스트를 포함한 더 크고 다기관인 코호트에서의 검증이 필요하다.
단독 확산강조 MRI를 이용한 ADC 전용 심층 학습 파이프라인의 유방암 검출 및 분할 평가
Evaluating ADC-only deep learning pipelines for breast cancer detection and segmentation using standalone diffusion-weighted MRI
동적 조영(dynamic contrast-enhanced, DCE) 영상은 자기공명영상(MRI)을 이용한 유방암 검출 및 특성 규명의 gold standard 기법이다. 그러나 DCE-MRI는 긴 촬영 시간과 혈류 내 조영제 투여가 필요하며, 이는 알레르기 반응을 유발할 수 있다. 대안으로 확산강조 MRI(DW-MRI)는 조영제가 필요 없고 촬영 시간이 더 짧으며, 종양 세포 밀도와 상관관계가 있는 겉보기 확산계수(ADC) 맵 계산을 가능하게 하는 유방 MRI의 표준 보조 기법이다. 그럼에도 이러한 기술적 이점에도 불구하고, 심층 학습 연구는 DCE 기반 모델에 집중해 왔고, DCE-MRI와의 병용이든 단독 대안이든 DW-MRI와 ADC 맵의 종양 검출 성능은 거의 탐구하지 않았다. 본 연구에서는 ADC 영상만을 사용한 유방암 검출 및 분할에 대해 다양한 최신(state-of-the-art) 심층 학습 기법의 적용을 평가한다. 우리가 아는 한, 이는 분류, 검출, 분할 과업을 위한 ADC 전용 유방암 파이프라인에 대한 최초의 포괄적 평가이다.
MedRSI: 임상적으로 정렬된 자기 진화를 통한 의료용 에이전트의 재귀적 자기 개선
MedRSI: Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution
의료용 에이전트(agent)는 범용 추론 모델과 특화된 임상 도구를 점진적으로 결합하고 있으나, 그 능력은 배포 전 임상의와 엔지니어가 설계한 수준에 대부분 고정되어 있습니다. 재귀적 자기 개선(Recursive Self-Improvement, RSI)은 에이전트가 자신의 실패로부터 학습(training)하고 자율적으로 능력을 확장하는 다른 패러다임을 제공하지만, RSI를 의료 분야에 직접 적용하는 것은 근본적인 안전성(safety) 문제를 초래합니다. 본 논문에서는 도구 조합과 태스크별 모델 학습을 통해 진단 실패를 새로운 임상 능력으로 지속적으로 전환하는 최초의 의료용 재귀적 자기 개선 프레임워크인 MedRSI를 소개합니다. 임상 진료 현장에서 영감을 얻은 MedRSI는 임상적으로 정렬(alignment)된 자기 진화를 위한 두 가지 메커니즘을 도입합니다. 첫째, 임상 비용 인식 기반 실패 우선순위화(clinical-cost-aware failure prioritization)는 단순한 빈도 대신 잠재적인 임상적 결과에 따라 오류에 대한 개선 방향을 설정합니다. 둘째, 신속한 발견과 보수적 등록(fast discovery with slow registration)은 빠른 능력 창출과 보수적 도입을 분리하여, 후속 환자 코호트 전반에서 지속적인 이점을 입증한 후에만 새로운 도구가 영구 에이전트에 반영되도록 합니다. 공개 녹내장 및 심장 질환 벤치마크(benchmark)와 두 가지 비공개 임상 태스크 전반에서 MedRSI는 분할, 측정, 예측, 멀티모달 추론 및 생성 능력을 점진적으로 발전시키며, 수작업으로 설계된 의료용 에이전트를 능가하고 원래 설계자가 예상하지 못한 임상 문제에 대한 솔루션을 자율적으로 발견합니다. 본 연구 결과는 의료용 에이전트가 배포 전에 지정된 능력에 국한될 필요가 없음을 보여줍니다. 즉, 무엇을 개선하고 무엇을 유지할지 통제하는 임상적으로 기반을 둔(grounded) 메커니즘을 통해 진단 경험으로부터 새로운 능력을 지속적으로 구축, 검증 및 축적할 수 있습니다. 코드는 https://github.com/ImprintLab/MedRSI 에서 확인할 수 있습니다.
다중모달 뇌졸중 재발 예측을 위한 비전 및 교차 모달 학습 실현: 해석 가능한 2단계 프레임워크
Enabling Vision and Cross-Modal Learning for Multimodal Stroke Recurrence Prediction: An Interpretable Two-Step Framework
다중모달(multimodal) 뇌졸중 재발 예측은 이종의 임상 및 영상 데이터의 효과적인 통합을 필요로 하지만, 모달리티 불균형(modality imbalance)으로 인해 모델이 지배적인 모달리티에 지나치게 의존하고 상호보완적인 정보를 충분히 활용하지 못하는 경우가 자주 발생합니다. 자기지도 사전학습(self-supervised pretraining)과 선택적 매개변수 동결은 표현 학습과 미세조정 안정성을 향상시키기 위해 흔히 사용되지만, 다중모달 의료 모델에서 모달리티 기여도 및 교차 모달(cross-modal) 동작에 미치는 영향은 여전히 거의 연구되지 않았습니다. 본 연구에서는 최근 다루었던 임상적으로 중요한 과제인 뇌졸중 재발 예측을 위해, 3D CTA 스캔 기반의 영상 사전학습이 모달리티 불균형을 줄이고 교차 모달 통합을 향상시키는지 조사합니다. 이를 위해 두 가지 다중모달 신경망을 자기지도 방식으로 사전학습한 후, 두 가지 서로 다른 동결 전략을 사용하여 미세조정합니다. 이들의 성능과 모달리티 활용도를 이전 연구의 기준선 모델 및 본 연구에서 처음부터 완전히 학습(trained from scratch)된 모델 모두와 비교합니다. 연구 결과, 자기지도 사전학습은 다중모달 영상-정형(image-tabular) 데이터셋을 더욱 효과적으로 활용할 수 있게 하여 기존 기준선과 사전학습되지 않은 모든 모델을 능가함을 입증합니다. 특히, 가장 우수한 성능을 보인 Vision Transformer 기반 신경망은 단일모달 붕괴(unimodal collapse)를 성공적으로 극복했습니다. 시너지 분석 결과, 비전과 성별 및 관상동맥질환(CHD) 간의 유의미한 상호작용이 밝혀졌으며, 이는 뇌졸중 재발에 대한 임상적으로 유의미한 패턴을 시사합니다. 전반적으로, 본 연구의 결과는 자기지도 사전학습과 전략적인 미세조정이 보다 균형 잡힌 모달리티 활용을 지원하고 의미 있는 교차 모달 상호작용을 가능하게 함을 보여줍니다. 코드는 https://github.com/ChristianGappGit/SSL_Pretraining 에서 공개되어 있습니다.
Primary 및 Secondary 레이블을 이용한 약지도 인스턴스 수준 Gleason 패턴 추정
Weakly Supervised Instance-Level Gleason Pattern Estimation Using Primary and Secondary Labels
전립선암 조직병리학에서 Gleason Score는 whole-slide image 내에서 가장 빈번한(Primary) Gleason 패턴과 두 번째로 빈번한(Secondary) Gleason 패턴으로 결정된다. 이러한 슬라이드 수준 레이블은 임상에서 일반적으로 이용 가능하지만, 인스턴스 수준 Gleason 주석은 거의 제공되지 않아 패치 수준 학습을 어렵게 만든다. 본 연구는 슬라이드 수준 Primary 및 Secondary 레이블로부터 인스턴스 수준 Gleason 패턴을 추정하는 다중 인스턴스 학습(MIL) 프레임워크를 제안한다. 제안 방법은 인스턴스 예측을 클래스 개수로 집계하고 Primary 패턴, Secondary 패턴 및 그 지배성을 명시적으로 모델링함으로써 Gleason Score의 임상적 정의에 따라 인스턴스 수준 학습을 공식화한다. 실험 결과, 제안 공식화가 효과적인 인스턴스 수준 학습을 가능하게 하며 SICAP-MIL 데이터셋에서 기존 MIL 접근법들을 능가함을 보여준다.
다중모달 입력을 갖는 자기회귀 EHR 파운데이션 모델
Autoregressive EHR Foundation Models with Multimodal Inputs
토큰화된 전자건강기록(EHR)으로 학습된 자기회귀 파운데이션 모델은 제로샷 임상 예측을 지원할 수 있지만, 대부분은 구조화된 이벤트 코드만을 대상으로 동작하며 여러 모달리티를 체계적인 방식으로 통합하지 않는다. 우리는 모달리티별 잠재 압축과 시간 정렬을 갖춘 게이트 크로스-어텐션(gated cross-attention)을 사용하여, ECG 파형, 흉부 X-ray 이미지, 임상 기록 등 보조 임상 모달리티로 이러한 모델을 조건화하는 프레임워크를 제시한다. 우리는 두 가지 핵심 설계 선택을 조사한다: (1) 다중모달 크로스-어텐션에 들어가기 전에 모달리티별 긴 시퀀스(예: ECG 시계열)를 어떻게 압축할 것인가. 이 특징은 연산 오버헤드를 줄이는 데 필수적일 수 있으며 일반화에도 유리할 수 있다; (2) 각 모달리티에 대한 사전학습 인코더 선택이 하류 성능에 어떤 영향을 미치는가. MIMIC-IV에서 통제된 ablation을 통해, 최적의 잠재 압축 구성이 압축하지 않은 크로스-어텐션과 평균 풀링 모두를 능가함을 보인다. 인코더 선택은 모달리티 내에서 뚜렷한 효과를 보이며, 더 강력한 사전학습 인코더가 일관되게 더 약한 대안들을 능가한다. 또한 보조 모달리티를 단순히 추가하는 것만으로는 EHR 전용 기준선 대비 ICU 사망률 예측에서의 개선을 보장하지 않음을 보인다. 이는 융합 아키텍처의 신중한 설계와 임상 맥락에서의 적절한 평가가 필요함을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.