arXiv:2103.10928

BERTSurv: BERT-Based Survival Models for Predicting Outcomes of Trauma Patients

Yun Zhao, Qinghang Hong, Xinlu Zhang, Yu Deng, Yuqing Wang, Linda Petzold

제출 2021-03-19

원문 초록

Survival analysis is a technique to predict the times of specific outcomes, and is widely used in predicting the outcomes for intensive care unit (ICU) trauma patients. Recently, deep learning models have drawn increasing attention in healthcare. However, there is a lack of deep learning methods that can model the relationship between measurements, clinical notes and mortality outcomes. In this paper we introduce BERTSurv, a deep learning survival framework which applies Bidirectional Encoder Representations from Transformers (BERT) as a language representation model on unstructured clinical notes, for mortality prediction and survival analysis. We also incorporate clinical measurements in BERTSurv. With binary cross-entropy (BCE) loss, BERTSurv can predict mortality as a binary outcome (mortality prediction). With partial log-likelihood (PLL) loss, BERTSurv predicts the probability of mortality as a time-to-event outcome (survival analysis). We apply BERTSurv on Medical Information Mart for Intensive Care III (MIMIC III) trauma patient data. For mortality prediction, BERTSurv obtained an area under the curve of receiver operating characteristic curve (AUC-ROC) of 0.86, which is an improvement of 3.6% over baseline of multilayer perceptron (MLP) without notes. For survival analysis, BERTSurv achieved a concordance index (C-index) of 0.7. In addition, visualizations of BERT's attention heads help to extract patterns in clinical notes and improve model interpretability by showing how the model assigns weights to different inputs.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.19460v4stat.ML공통 태그 Survival Analysis공식 코드 · Papers with Code

생존 모델 평가에서 종속 중도절단 극복하기

Overcoming Dependent Censoring in the Evaluation of Survival Models

종속 중도절단(dependent censoring)은 관측된 공변량이 주어졌을 때 사건 시간과 중도절단 시간이 조건부 독립이 아닌 경우에 발생한다. 이는 생존 모델 평가를 복잡하게 만드는데, 브라이어 점수(Brier score)와 같이 널리 사용되는 지표들이 일반적으로 우측 중도절단을 중도절단 역확률 가중치(IPCW)를 사용하여 처리하기 때문이다. 그러나 IPCW는 추정된 중도절단 분포가 사건 시간과 독립적일 때에만 유효하다. 본 논문에서는 아르키메데안 코퓰라(Archimedean copula)와 코퓰라-그래픽 추정기(Copula-Graphic estimator)에 기반한 종속 브라이어 점수를 제안하고, 해당 마진-시간 추정기의 일치성 및 점근적 정규성을 확립한다. 지표를 평가하기 위해, 원래의 공변량 구조와 알려진 사건 시간을 보존하면서 현실적인 종속 중도절단을 생성하는 반합성(semi-synthetic) 프레임워크를 소개한다. 12개 데이터셋에 걸쳐, 제안된 지표는 IPCW 대비 평균 12–16%의 추정 오차를 감소시킨다. 소스 코드는 https://github.com/thecml/DependentEVAL 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.