Narrative Feature or Structured Feature? A Study of Large Language Models to Identify Cancer Patients at Risk of Heart Failure
원문 초록
Cancer treatments are known to introduce cardiotoxicity, negatively impacting outcomes and survivorship. Identifying cancer patients at risk of heart failure (HF) is critical to improving cancer treatment outcomes and safety. This study examined machine learning (ML) models to identify cancer patients at risk of HF using electronic health records (EHRs), including traditional ML, Time-Aware long short-term memory (T-LSTM), and large language models (LLMs) using novel narrative features derived from the structured medical codes. We identified a cancer cohort of 12,806 patients from the University of Florida Health, diagnosed with lung, breast, and colorectal cancers, among which 1,602 individuals developed HF after cancer. The LLM, GatorTron-3.9B, achieved the best F1 scores, outperforming the traditional support vector machines by 39%, the T-LSTM deep learning model by 7%, and a widely used transformer model, BERT, by 5.6%. The analysis shows that the proposed narrative features remarkably increased feature density and improved performance.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2403.11425v4제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
임상적 예후 예측을 위한 이종 근거 통합 기반 검색 증강 다중 모달 언어 모델
Retrieval-Augmented Multimodal Language Model with Heterogeneous Evidence Integration for Clinical Prognosis
임상적 예후 예측은 정형 측정치, 생체 신호 파형, 시계열적 과거 이력, 그리고 환자군 맥락의 통합을 필요로 한다. 본 연구에서는 특징(feature)별 수치 토큰화(tokenization), 시계열 심전도(ECG)의 최신성 가중 집계, 이중 모달 환자군 메모리 뱅크를 결합한 다중 모달 언어 모델(language model)인 PRISM(Population-Retrieved Inference for Structured Multimodal Prognosis)을 소개한다. 검색은 표현 공간에서 수행된다. 즉, 모델(model)은 유사한 학습(training) 코호트 진료의 평균 풀링(mean-pooled) 임베딩을 전달받으며, 검색된 개별 기록은 프롬프트(prompt)에 직접 입력되지 않는다. 1,443개 태스크로 구성된 MDS-ED 벤치마크에서 PRISM은 진단 86.2%, 악화 93.1%, 중환자실(ICU) 입원 91.8%, 사망률 92.8%의 AUROC를 달성한다. 이 결과는 기존 베이스라인에서는 사용할 수 없었던 내원 전 96시간 윈도우를 활용한 것이다. 벤치마크 표준 윈도우 입력만 사용했을 때 PRISM은 0.8895의 AUROC를 기록하며, 이는 UniPACT의 0.8937 및 MDS-ED의 0.8889와 비견된다. 동일한 5개 근거 스트림과 고정된(frozen) 인코더를 사용하는 입력 매칭 컴팩트 융합 모델이 0.7652 AUROC를 달성한 것에 비해 PRISM은 0.9092를 달성한다. 수치형 전자건강기록(EHR) 인코딩을 텍스트 직렬화로 대체하면 AUROC가 3.66포인트 감소하고, 내원 전 이력을 제거하면 1.97포인트 감소하며, 검색을 제거(zeroing)하면 0.99포인트 감소한다. 실제 검색은 무작위 이웃 검색 대비 매크로 평균 0.97포인트 앞서지만, 대응 태스크 수준 부호 검정에서는 일관된 우위를 확립하지 못했다(p=0.067). 외부 MC-MED 코호트에서 지도 미세조정(supervised fine-tuning)은 0.8611 AUROC를 기록하여, 로컬에서 학습된 그래디언트(gradient) 부스팅의 0.8227 및 소스 코호트 전용 PRISM의 0.7841보다 우수했다. 이러한 결과는 구조 인지적 다중 모달 통합 및 지도 외부 적응의 효용을 뒷받침한다.
AMLworld-Compact: 비용 효율적인 LLM 평가 및 오류 진단을 위한 중요도 가중치 다운샘플링
AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis
AMLworld의 가장 작은 테스트 분할에서 대규모 언어 모델(LLM)을 평가하는 것은 100만 개가 넘는 타깃 각각에 별도의 그래프 프롬프트(prompt)가 필요하기 때문에 비용이 많이 듭니다. 샘플링을 통해 이러한 비용을 줄일 수 있지만, 크기가 작은 균형 잡힌 서브셋은 가중치가 적용되지 않은 정밀도(precision)와 F1 점수를 변화시킵니다. 본 논문에서는 모든 불법 테스트 거래를 보존하면서 지도학습 점수 층(strata)에서 정상 거래를 샘플링하는 평가 셋인 AMLworld-Compact를 소개합니다. 이 세트의 HT-Coreset 프로토콜은 HI-Small 및 LI-Small에서 평가 타깃을 각각 271배 및 611배 줄입니다. 호비츠-톰슨(Horvitz-Thompson) 가중치(weight)는 고정된 예측에 대해 편향되지 않은 전체 테스트 오차 행렬 카운트 추정치를 제공하며, 재현율(recall)은 정확하고 정밀도와 F1은 비율 추정치입니다. Graph Feature Preprocessor(GFP) 특징(feature)을 사용한 홀드아웃 연구에서, 한 부스팅 트리 계열이 구성당 500회 추출에 걸쳐 다른 부스팅 트리 계열을 평가하기 위한 층을 정의합니다. 공개된 크기에서 HT 가중치를 적용한 균일 샘플링의 F1 RMSE가 4.44~7.41%포인트인 것에 비해, 본 방식은 0.00~2.58%포인트였으며 보수적 구간은 여전히 넓게 유지됩니다. 평가된 그래프 프롬프트 하에서, 7개의 오픈 가중치 LLM은 모두 불법으로 예측하는 기준선(baseline)에 근접한 가중 정밀도를 보였습니다. 모델(model)당 1회 실행에서 추출한 1,000개의 HI-Small 퓨샷 출력에 대한 결과 층화 감사에서, 어휘 검사는 정답인 이진 판정의 84.5%와 오답인 이진 판정의 56.2%를 통과했으므로 이러한 표식이 정확성을 입증하지는 못합니다. 저자들은 평가 셋, 구축 코드 및 감사 도구를 https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval 및 https://github.com/nat-nischw/AMLworld-Compact 에 공개합니다.
알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습
Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research
알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.
텍스트 그래디언트를 통한 트레이딩 전략 최적화
Trading Strategy Optimization via Textual Gradient
정량적(quantitative) 트레이딩 전략 설계는 과거 데이터로부터 미래 시장에서도 유효하게 유지되는 트레이딩 프로그램을 발견하는 것을 목표로 하며, 이는 블랙박스 프로그램 최적화 문제로 볼 수 있습니다. 대규모 언어 모델(LLM) 기반의 텍스트 그래디언트(textual gradient)는 반복적인 전략 개선을 위한 명시적인 최적화 방향을 제공함으로써 유망한 접근 방식을 제시합니다. 그러나 텍스트 그래디언트를 직접 적용하는 데에는 두 가지 과제가 존재합니다: (1) 최적화가 근시안적이어서 이전 평가 경험을 충분히 활용하지 못한다는 점, 그리고 (2) 종합적인 백테스트 피드백이 시간적 강건성(temporal robustness)을 간과하여 특정 시장 기간에만 우수한 성능을 보이는 전략을 선호할 가능성이 있다는 점입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 강건한 트레이딩 전략 최적화를 위한 경험 유도 텍스트 그래디언트 프레임워크인 TradeGrad를 제안합니다. TradeGrad는 축적된 최적화 경험을 활용하여 텍스트 그래디언트를 추정하고, 전략 탐험과 정밀 개선을 모두 달성하기 위해 다중 스케일 수정을 사용합니다. 또한, 불리한 과거 기간에서의 성능을 강조하여 시간적 강건성을 촉진하는 기간 교차 강건 목적함수(CPRO)를 도입합니다. 중국 A주 및 미국 주식 시장에서의 횡단면(cross-sectional) 및 시계열(time-series) 전략 설계를 대상으로 한 실험 결과, TradeGrad는 네 가지 설정 모두에서 가장 우수한 표본 내(in-sample) 및 표본 외(out-of-sample) 성능을 달성함을 보여줍니다. 특히, 중국 횡단면 전략에서는 연환산 수익률 27.99%, 최대 낙폭(MDD) 12.19%, 샤프 지수(Sharpe ratio) 1.63을 달성하여 CSI 300 벤치마크 대비 약 68% 높은 성능을 기록했습니다. 추가 분석을 통해 제안된 구성 요소들의 유효성을 입증하고, 최적화 전반에 걸쳐 표본 내 및 표본 외 성능이 일관되게 향상됨을 확인했습니다. 코드는 https://github.com/transcend-0/TradeGrad 에서 확인할 수 있습니다.
대규모 언어 모델은 환자 근거가 변화함에 따라 신뢰할 수 없는 임상적 판단 업데이트를 보인다
Large language models exhibit unreliable updating of clinical judgment as patient evidence evolves
임상적 추론을 위해 대규모 언어 모델(LLM)의 활용이 점차 탐색되고 있으나, 환자의 근거가 변화함에 따라 모델이 판단을 적절하게 수정하는지는 여전히 불분명하다. 본 연구에서는 전자의무기록의 매칭된 중환자 치료 궤적을 활용하여 종단적 신념 업데이트(longitudinal belief updating)를 평가했다. 다양한 LLM 전반에서, 추정치가 변경될 때 이전 판단을 조건부로 반영하는 것은 예측 오차를 줄이기보다 오히려 증가시키는 경우가 더 많았으며, 이는 두 번째 종단점에서도 재현되었다. 통제된 개입 실험을 통해 두 가지 실패 모드가 밝혀졌다. 첫째, 이전 평가가 고정되었을 때 모델은 매칭된 호흡 개선 근거보다 악화 근거에 더 강하게 반응했으며, 이러한 비대칭성은 중간 및 강한 근거 수준에서 헤드룸 정규화(headroom normalization)를 거친 후에도 지속되었다. 둘째, 현재 근거가 고정되었을 때 사전 위험도를 10%에서 90%로 증가시키면 추정치가 26.2%포인트 이동하여 이전 모델 신념의 인과적 영향을 입증했다. 프롬프팅은 신뢰할 수 있는 업데이트를 복원하지 못했다. 근거 검증 종단적 업데이트(Evidence-Validated Longitudinal Update, EVLU)는 더 적지만 보다 신뢰할 수 있는 수정을 식별하여 신뢰성과 커버리지 간의 절충 관계(trade-off)를 드러냈다. 이러한 발견은 종단적 신념 업데이트가 LLM 신뢰성의 뚜렷한 한 차원임을 확립한다.
Quantifying the effect of color processing on blood and damaged tissue detection in Whole Slide Images
토론
이 논문과 연결된 포럼 글이 아직 없습니다.