Leveraging Large Language Models to Extract Information on Substance Use Disorder Severity from Clinical Notes: A Zero-shot Learning Approach
원문 초록
Substance use disorder (SUD) poses a major concern due to its detrimental effects on health and society. SUD identification and treatment depend on a variety of factors such as severity, co-determinants (e.g., withdrawal symptoms), and social determinants of health. Existing diagnostic coding systems used by American insurance providers, like the International Classification of Diseases (ICD-10), lack granularity for certain diagnoses, but clinicians will add this granularity (as that found within the Diagnostic and Statistical Manual of Mental Disorders classification or DSM-5) as supplemental unstructured text in clinical notes. Traditional natural language processing (NLP) methods face limitations in accurately parsing such diverse clinical language. Large Language Models (LLMs) offer promise in overcoming these challenges by adapting to diverse language patterns. This study investigates the application of LLMs for extracting severity-related information for various SUD diagnoses from clinical notes. We propose a workflow employing zero-shot learning of LLMs with carefully crafted prompts and post-processing techniques. Through experimentation with Flan-T5, an open-source LLM, we demonstrate its superior recall compared to the rule-based approach. Focusing on 11 categories of SUD diagnoses, we show the effectiveness of LLMs in extracting severity information, contributing to improved risk assessment and treatment planning for SUD patients.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LEX-EC: 블랙박스 환경에서 제로샷 LLM 성격 분류를 위한 어휘 증거 채널 감사 프레임워크
LEX-EC: A Lexical Evidence-Channel Audit Framework for Zero-Shot LLM Personality Classification in Black-Box Settings
대규모 언어 모델(LLM)은 텍스트로부터 성격 레이블을 쉽게 부여할 수 있지만, 모델 해석 가능성은 여전히 미해결 문제이다. 이 격차를 해소하기 위해, 우리는 LEX-EC를 제안한다. LEX-EC는 재사용 가능한 블랙박스 감사 프레임워크로, 유병률 및 일치 진단과 통제된 어휘 절제(ablation)를 결합하여 주변 분포(marginal-distribution) 효과와 제한된 증거 하에서 복원 가능한 특성(trait) 연관 신호를 구분한다. 이 프레임워크를 사용하여, 다양한 텍스트 장르가 어떻게 뚜렷이 다른 프로필을 보일 수 있는지 보여준다. 자유 형식 에세이 텍스트는 가장 넓지만 여전히 약한 신호를 포함하고, 대학원생 자기소개에서는 관찰 가능한 외향성(Extraversion) 연관이 마스킹 후 약해졌으며, 단일 Facebook 상태 업데이트는 특성 균형 표본에서도 안정적인 증거를 거의 제공하지 않아 콘텐츠 또는 길이의 가능한 하한을 시사한다. 주제적·인구통계학적 콘텐츠를 마스킹하면 일부 연관은 약해지지만, 기능어(function words), 정서적 용어, 인지 스타일 어휘로부터 다른 연관은 여전히 탐지 가능하다. 언어학적 프롬프트는 모델의 자기 설명을 변화시켰지만 주제적 콘텐츠를 제거하지는 못했다. LEX-EC는 분류 유병률, 항목 수준 연관, 우연 보정 일치, 어휘 제한 하에서의 지속성, 모델 생성 설명에서의 프롬프트 민감도를 함께 평가한다. 데이터셋, 모델, 프롬프트 전반에 걸쳐 LEX-EC는 이용 가능한 어휘 증거에 따라 특성 연관이 어떻게 달라질 수 있는지 특성화하며, 성격 레이블링에서 블랙박스 해석 가능성에 대한 어휘 방법의 새로운 적용을 제시한다.
분할 보조 진단 트랜스포머를 통한 조직병리학적 스펙트럼 기반 전립선 계층화
Histopathological Spectrum-Guided Prostate Stratification via Segmentation-Assisted Diagnostic Transformer
다중 매개변수 MRI(mpMRI)를 이용한 전립선암 진단은 일반적으로 PI-RADS 평가 또는 이진 분류에 기반하지만, 이는 주관성 문제가 있고 임상적으로 관련 있는 병리학적 이질성을 포착하지 못한다. 이 한계를 해결하기 위해, 우리는 전립선암 조직병리학 스펙트럼 데이터셋(Prostate Cancer Histopathology Spectrum Dataset, PCa-HSD)을 구축하고 임상적으로 의미 있는 4-클래스 분류 과제를 정식화하며, 기존 데이터셋에서 전립선암과 쉽게 혼동되는 양성 병변의 과소 대표 문제를 다룬다. 우리는 제로샷 분할(zero-shot segmentation)을 활용해 해부학적 사전 정보를 제공하고 분류를 위해 효과적인 다중 모달 슬라이스 융합을 수행하는 Language-guided Segmentation-assisted Diagnostic Transformer(LSDT) 모델을 제안한다. 제안 방법은 백본 전반에서 일관되게 정확도를 향상시키며, 344명 환자 코호트에 대한 5-겹 교차 검증에서 평균 정확도 0.633과 JointRecall 0.768의 최고 성능을 달성한다. 이 결과는 병리학적 감독과 해부학적 사전 정보를 통합하면 세밀한 전립선 MRI 분류가 크게 향상되며, 위험 계층화를 위한 더 임상적으로 관련 있는 패러다임을 제공함을 보여준다. 코드는 향후 개정판에서 공개될 예정이다.
다중모달 입력을 갖는 자기회귀 EHR 파운데이션 모델
Autoregressive EHR Foundation Models with Multimodal Inputs
토큰화된 전자건강기록(EHR)으로 학습된 자기회귀 파운데이션 모델은 제로샷 임상 예측을 지원할 수 있지만, 대부분은 구조화된 이벤트 코드만을 대상으로 동작하며 여러 모달리티를 체계적인 방식으로 통합하지 않는다. 우리는 모달리티별 잠재 압축과 시간 정렬을 갖춘 게이트 크로스-어텐션(gated cross-attention)을 사용하여, ECG 파형, 흉부 X-ray 이미지, 임상 기록 등 보조 임상 모달리티로 이러한 모델을 조건화하는 프레임워크를 제시한다. 우리는 두 가지 핵심 설계 선택을 조사한다: (1) 다중모달 크로스-어텐션에 들어가기 전에 모달리티별 긴 시퀀스(예: ECG 시계열)를 어떻게 압축할 것인가. 이 특징은 연산 오버헤드를 줄이는 데 필수적일 수 있으며 일반화에도 유리할 수 있다; (2) 각 모달리티에 대한 사전학습 인코더 선택이 하류 성능에 어떤 영향을 미치는가. MIMIC-IV에서 통제된 ablation을 통해, 최적의 잠재 압축 구성이 압축하지 않은 크로스-어텐션과 평균 풀링 모두를 능가함을 보인다. 인코더 선택은 모달리티 내에서 뚜렷한 효과를 보이며, 더 강력한 사전학습 인코더가 일관되게 더 약한 대안들을 능가한다. 또한 보조 모달리티를 단순히 추가하는 것만으로는 EHR 전용 기준선 대비 ICU 사망률 예측에서의 개선을 보장하지 않음을 보인다. 이는 융합 아키텍처의 신중한 설계와 임상 맥락에서의 적절한 평가가 필요함을 시사한다.
증거 그라운딩 추론을 통한 에이전트형 근본 원인 분석
Agentic Root Cause Analysis through Evidence-Grounded Reasoning
이상의 근본 원인을 진단하는 것은 안전한 산업 운영에 필수적이다. 광범위한 센서 계측에도 불구하고 가설 수립과 증거 수집은 여전히 수동적 프로세스로 남아 있어 주요 운영 병목을 야기한다. 기존 데이터 기반 접근법은 이를 자동화하려 하나, 두 가지 중요한 한계가 배포를 제한한다: 진단을 정당화할 수 없는 블랙박스로 작동하며, 고장 운전에 대한 희소한 라벨 예제가 필요하다는 점이다. 이 공백을 해소하기 위해 증거 그라운딩 근본 원인 분석을 위한 제로샷 에이전트형 프레임워크 AgentRCA를 제안한다. AgentRCA는 고장 특화 매핑을 학습하는 대신, 정상 시스템 동역학을 모델링하는 데이터 기반 디지털 트윈과 도구 증강 언어 모델을 결합하여 추론 시점 추론을 수행한다. 에이전트는 통계적 증거를 반복적으로 수집하고, 경쟁 가설을 평가하며, 관측된 거동을 가장 잘 설명하는 물리적 고장을 식별한다. 실제 다상 흐름(multiphase-flow) 시설과 대규모 화학 공장에서 평가한 결과, AgentRCA는 고장 특화 학습에 의존하지 않고도 완전 지도 학습 기준선과 경쟁력 있는 진단 성능을 달성한다. 중요하게도, 관측된 증상을 근본적인 물리적 원인과 명시적으로 연결하는 투명한 추론 추적을 생성한다. 이러한 결과는 자율적 가설 주도 추론이 확장 가능한 산업 근본 원인 분석의 실용적 토대임을 보여준다.
섬망 예측을 위한 LLM 제로샷 적응 지식 주입 프레임워크
A Knowledge-Injection Framework for Zero-Shot Adaptation of LLMs to Delirium Prediction
대규모 언어 모델(LLM)은 임상 예측에 유망하지만, 특화된 작업에서의 제로샷 성능은 불완전한 도메인 지식으로 인해 제한되며, 특히 소규모의 로컬 배포 가능 모델에서 그렇다. 우리는 미세조정이나 검색 없이 추론 시점에 구조화된 전자 건강 기록(EHR) 데이터의 결정론적 자연어 요약을 외부 임상 지식 보고서로 보강하는, ICU 섬망 예측을 위한 경량 지식 주입 프레임워크를 제시한다. MIMIC IV 데이터셋의 ICU 입원 3,160건에 대해 LLaMA 3.1 8B와 LLaMA 3.3 70B를 평가한다. 임상적으로 의미 있는 외부 지식 보고서를 추가하면 외부 지식이 없을 때와 비교하여 8B 모델의 AUROC가 8.57퍼센트포인트, 70B 모델은 1.99퍼센트포인트 향상된다. 외부 지식 보고서 없이 사용한 GPT-5.2 프론티어 모델 기준(AUROC 68.86%)과 비교할 때, 지식 주입은 LLaMA 8B의 성능 격차를 15.66에서 7.09 AUROC 포인트로, LLaMA 70B는 5.30에서 3.31 AUROC 포인트로 줄인다. 무작위 대조 보고서는 성능을 개선하지 않으며 오히려 저하시키는 경우가 많아, 향상은 프롬프트 길이 증가만이 아니라 임상적으로 의미 있는 내용에 달려 있음을 시사한다. SHAP 기반 기여도 분석은 주입된 지식이 예측 과정에서 적극적으로 활용됨을 추가로 확인한다. 이러한 결과는 추론 시점 지식 주입이 로컬 배포 가능한 오픈 가중치 모델과 프론티어 폐쇄형 모델 간의 격차를 줄일 수 있으며, 자원이 제한된 임상 환경에서 실용적이고 프라이버시를 보존하는 워크플로를 유지할 수 있음을 시사한다.
제로샷 요약 재검토: LLM 요약기의 신뢰성에 대한 실증적 조사
Reexamining zero-shot summarization: Empirical investigation of trustworthiness of LLM-summarizers
제로샷 요약(zero-shot summarization)에서 대규모 언어 모델(LLM)을 사용하면 일관되고 유창한 요약을 생성함으로써 추상적 요약(abstractive summarization) 과제를 크게 발전시켰다. 그러나 대규모 언어 모델의 내재적 확률성(stochasticity)은 LLM이 생성한 요약의 안정성(stability)과 신뢰성(trustworthiness)에 대한 우려를 제기한다. 학생과 연구자가 복잡한 학술 자료를 제로샷 방식으로 요약하는 교육 환경에서 LLM 생성 요약이 확산되면서 이 문제는 점점 더 중요해지고 있다. 우리는 생성된 요약의 안정성을 기반으로 LLM 요약기를 벤치마킹하기 위한 새로운 2단계 진단 프로토콜을 제안한다. 하위 수준에서는 통제된 환경에서 생성된 여러 LLM 요약에 대해 문서 수준(document-level) 안정성 분석을 수행하고 안정성 계수(stability coefficient)를 계산한다. 각 생성 요약은 원본 문서와의 의미적·사실적 정렬(alignment)에 대해 점수화되며, 이를 통해 둘 이상의 차원에서 안정성을 추정할 수 있다. 상위 수준에서는 코퍼스(corpus)에서 추출한 계층화 표본(stratified sample) 문서들의 관측값을 통합하여 LLM 요약기의 안정성 지수(stability index)를 추정하는데, 이는 해당 요약기의 신뢰성에 대한 대리 지표(proxy)이다. 세 가지 LLM 요약기에 대해 세 가지 문서 장르(genre)에서 수행한 실증 조사 결과, 요약 평가 지표(summary evaluation metrics) 전반에 걸쳐 LLM 간 생성 수준(generation-level) 변동성(variability)에 통계적으로 유의미한 차이가 있음을 밝혔다. 본 연구는 LLM 요약에서 안정성 문제를 증거 기반으로 인식함으로써 LLM 요약 연구를 발전시키고, 견고하고(robust) 신뢰할 수 있으며(reliable) 신뢰할 만한(trustworthy) LLM 요약기 개발을 향한 추가 연구를 촉진한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.