본 튜토리얼은 자연어 처리(NLP)의 헬스케어 도메인 적용, HealthcareNLP 분야에서 우리가 달성한 성과, 그리고 미래를 향한 과제에 초점을 맞춥니다. 이 분야의 기존 리뷰들은 개인정보 보호 문제를 해결하기 위한 합성 데이터 생성이나 보다 나은 통합 및 구현을 위한 설명 가능한 임상 NLP 같은 몇 가지 중요한 태스크를 간과하거나, 검색-증강 생성(RAG) 및 대규모 언어 모델(LLM)과 지식 그래프(KG)의 뉴로-심볼릭 통합을 포함한 주요 방법론을 언급하지 못했습니다. 이러한 점을 고려하여, 본 튜토리얼의 목표는 3단계 계층 구조를 통해 환자 및 자원 지향적인 HealthcareNLP의 가장 중요한 하위 분야에 대한 입문적 개요를 제공하는 것입니다. 3단계 계층은 데이터/자원 층(어노테이션 가이드라인, 윤리적 승인, 거버넌스, 합성 데이터), NLP-평가(Eval) 층(개체명 인식(NER), 관계 추출(RE), 감성 분석과 같은 NLP 태스크 및 분류된 방법론을 통한 링킹/코딩, 이를 통한 설명 가능한 HealthAI 구축), 환자 층(환자 및 대중 참여(PPIE), 건강 이해도, 번역, 단순화, 요약(이 역시 NLP 태스크임), 공유 의사결정 지원)으로 구성됩니다. 청중이 HealthcareNLP 애플리케이션을 직접 사용할 수 있도록 튜토리얼에 실습 세션이 포함될 예정입니다. 대상 청중은 헬스케어 응용 분야의 NLP 실무자, 도메인 응용에 관심이 있는 NLP 연구자, 헬스케어 연구자, 그리고 NLP 분야의 학생들입니다. 본 튜토리얼의 유형은 "CL/NLP 주제 입문(HealthcareNLP)"이며 청중은 참석을 위한 사전 지식이 필요하지 않습니다. 튜토리얼 자료: https://github.com/4dpicture/HealthNLP
본 연구는 데이터가 부족한 환경에서 임상 인터뷰 녹취록으로부터 연속적인 우울증 중증도 점수를 예측하는 문제를 다룹니다. 우리는 교차 척도 전이(cross-scale transfer)를 위한 순차적 저순위 적응(LoRA) 프로토콜을 제안합니다. 경계 회귀 헤드(bounded regression head)가 결합된 Qwen3 백본을 먼저 영어 DAIC-WOZ 데이터셋(아바타 중개 세션 189건, PHQ-8)에서 미세조정(fine-tuning)한 후, 해당 어댑터로 초기화하여 중국어 PDCH 데이터셋(실제 임상 상담 100건, HAMD-17)에서 미세조정을 진행하며, 이때 재초기화된 척도 전용 헤드가 임상의가 부여한 점수를 예측합니다. 모든 구성에는 환자 수준의 계층화된 5-겹 2-반복 교차 검증(5-fold, 2-repeat cross-validation)을 적용했습니다. 데이터가 희소한 HAMD-17 타깃에서 순차적 프로토콜은 0.6B 및 1.7B 백본 모두에서 가장 우수한 점추정치 MAE, RMSE 및 매크로-$F_1$을 달성하여 타깃 전용 학습(training) 및 비 LLM 베이스라인을 능가했습니다(Qwen3-0.6B에서 4.96/6.59/0.36, Qwen3-1.7B에서 4.38/5.62/0.46). 소거 연구(ablation) 결과, 올바르게 정렬된 소스 감독이 최상의 점추정치를 산출하고(비지도 노출 및 셔플된 레이블 대조군 또한 부분적인 이득을 보임), 원어 중국어 타깃 입력이 기계 번역된 영어 입력보다 우수한 성능을 보이며, 역순 전이는 실행 간 분산 범위 내에서 뚜렷한 이득을 보이지 않음을 시사합니다. 본 연구는 탐색적인 단일 기관 내부 평가로, 선별 또는 진단 유용성을 입증하지 않으며 척도, 언어 또는 패러다임 변화 각각의 기여도를 분리하여 규명하지는 않습니다. 우리가 아는 한, 이 특정한 DAIC-WOZ에서 PDCH로의 순차적 전이 설정을 평가한 선행 연구는 없습니다.
목적: 일반 도메인 대규모 언어 모델(LLM)이 실제 퇴원 요약에서 식별할 수 있는 내부 문서 불일치의 유형을 규명하고, 대규모 적용 시 신뢰성을 제한하는 반복적 실패 모드를 파악한다. 재료 및 방법: 개방형 후보 식별(Gemini 2.5 Pro)과 맥락 그라운딩 검증(Gemini 2.5 Flash)으로 구성된 2단계 LLM 파이프라인을 무작위 표본 3,000건의 MIMIC-IV-Note 퇴원 요약에 적용하였다. 파이프라인 출력의 일부는 임상 전문가가 수동 검토하였다. 결과: 파이프라인은 3,460건의 후보 불일치를 도출하였으며, 입원 건의 69.7%에 해당한다. 대표 사례는 인구통계, 알레르기, 시술, 진단, 검사, 약물, 치료 계획 영역에 걸쳐 있었고, 임상 추론 및 환자 안전에 직접적 함의를 갖는다. 전문가 검토는 검증에 시간적 추론, 변화하는 진단 맥락, 또는 모델이 기본적으로 보유하지 않은 외래 처방 관행에 대한 지식이 필요할 때 나타나는 반복적 실패 모드도 밝혀냈다. 토론: 탐지는 맥락 의존성이 매우 높다. 플래그된 많은 쌍은 각 진술을 원문 섹션과 임상 영역에 대응시킨 뒤, 충돌이 실제 모순인지 맥락 누락인지를 판단해야 한다. 우리는 엄격한 모순부터 모호성까지를 아우르는 등급형 온톨로지와, 플래그된 각 사례를 범주, 섹션, 영역, 불일치 축으로 기술하는 스키마를 제안한다. 결론: 본 형성 연구는 후속 검증 대규모 EHR 불일치 분석을 이끌 방법론적 기반과 개념적 틀을 마련한다.
전자 건강 기록(EHR) 시스템은 구조화된 임상 코드와 비구조화된 임상 노트를 포함하는 풍부한 멀티모달 임상 데이터를 포착한다. 그러나 EHR 중심의 많은 연구들은 전통적으로 이러한 모달리티를 개별적으로 검토하거나, 두 모달리티 간의 내재적 시너지를 간과한 채 단순한 방법으로 결합해 왔다. 실제로 이러한 모달리티들은 깊이 상호 연결되어 있으며, 각각 임상적으로 관련성 있고 상호 보완적인 정보를 담고 있어 효과적으로 통합될 경우 환자 건강에 대한 보다 포괄적인 이해를 제공할 수 있다. 비전-언어(vision-language) 응용에서 멀티모달 대조 학습이 성공을 거두었음에도 불구하고, 멀티모달 EHR에서의 잠재력은 특히 이론적 이해 측면에서 충분히 탐구되지 않았다. 멀티모달 EHR 데이터의 통계적 분석을 지원하기 위해, 우리는 멀티모달 특징(feature) 임베딩 생성 모델(generative model)을 제안하고 EHR 특징 표현을 학습하기 위한 멀티모달 대조 손실(loss)을 설계한다. 우리의 이론적 분석은 단일 모달리티 학습 대비 멀티모달 학습의 효과를 입증하고, 손실 함수의 해를 점별 상호 정보(pointwise mutual information) 행렬의 특잇값 분해(singular value decomposition)와 연결한다. 이 연결은 멀티모달 EHR 표현 학습에 특화된 프라이버시 보존 알고리즘으로 이어진다. 시뮬레이션 연구는 제안된 알고리즘이 다양한 구성에서 우수한 성능을 보임을 보여준다. 또한 실제 EHR 데이터를 사용하여 그 임상적 유용성을 추가 검증한다.
검색-증강 생성(RAG) 평가는 모델의 주장이 검색된 문서에 사실적으로 근거하는지를 확인한다. 그러나 검색된 증거가 올바른 개체에 귀속되는지는 확인하지 않는다. 임상 RAG 응답은 자동화된 모든 검사(환각 없음, 거의 완벽한 충실도, 실제 인용)를 통과하면서도, 쿼리된 약물 X에 대한 증거로 약물 Y의 임상 증거를 제시할 수 있다. 우리는 이를 기만적 그라운딩(DG)이라 명명한다: 모든 주장이 실제 문서에서 출처를 가지지만 잘못된 개체에 대한 것이기 때문에, 충실도·환각·인용 검사에서는 보이지 않는 실패 유형이다. 13개 모델에 걸친 통제된 요인설계 벤치마크를 사용한 결과, 최대 적대적 조건에서 DG 비율이 8~87%에 달함을 확인했다. 의료 및 생물의학 파인튜닝 모델은 최대 86.7%에 이르며, 도메인 특화가 실패를 완화하기보다 오히려 증폭시켰다. 통제된 절제 실험을 통해 메커니즘을 규명했다: 검색된 문서에서 개체별 임상 증거를 제거하면 개체 귀속 실패가 완전히 사라지고 모든 실패가 혼란(confabulation)으로 전환된다. 두 가지 실패 유형은 동일한 트리거에 반응하지만 서로 다른 경로를 취한다. 740개의 약물-질환 쌍에 대한 실제 운용 시스템 측정에서는 전체 DG가 7.8%로 나타났으며, 최근 승인된 약물의 경우 13.6%까지 상승했다. 개체 귀속 검증(인용된 증거가 쿼리된 개체에 적용되는지 확인)은 DG를 정밀도 97.0%, 재현율 98.7%(역확률가중 조정 인간 골드 스탠다드)로 탐지한다. 기존의 어떤 프레임워크도 이를 구현하고 있지 않다.
의료용 대규모 언어 모델(LLM)의 가장 현실적인 단기적 역할은 의사를 대체하기보다는 보조하는 것이지만, 현재의 평가는 종종 임상 지식, 전자 건강 기록(EHR) 시스템 상호작용, 또는 환자와의 소통과 같은 개별적인 능력만을 테스트합니다. 의사 보조는 대신 동일한 상호작용 내에서 이러한 능력들을 조율하는 것을 요구하며, 여기서 의사는 불완전한 요청을 하고, 환자는 증상을 모호하게 설명하며, EHR 시스템은 정밀한 도구 사용을 요구합니다. 우리는 대화형 의사-환자-EHR 보조를 위한 벤치마크인 PhysAssistBench를 소개합니다. 실제 MIMIC-IV 사례를 기반으로 구축된 PhysAssistBench는 확장 가능한 파이프라인을 사용하여 에이전트 환자를 구축합니다. 이는 임상적 사실성을 유지하면서 정적인 EHR 기록을 멀티턴 임상 시나리오로 변환하는 대화형이며 기록 기반의 에이전트입니다. PhysAssistBench는 1,296개의 수동 검토 및 의사 검증된 턴으로 구성된 엄선된 이중 언어 평가 세트를 제공합니다. 선도적인 LLM을 사용한 실험에 따르면, 현재 모델들은 이 설정에서 여전히 신뢰할 수 없는 것으로 나타났습니다. 이는 임상용 LLM의 주요 병목 현상을 드러냅니다: 신뢰할 수 있는 보조는 지식, 소통, 시스템 간의 조율을 필요로 하며, 그중 어느 하나에서의 개별적인 향상만으로는 부족합니다.
우울증 중증도에 대한 정확하고 해석 가능한 예측은 임상 의사결정 지원에 필수적이나, 기존 모델들은 불확실성 추정과 시간적 해석 가능성이 부족한 경우가 많다. 우리는 PTTSD를 제안한다. PTTSD는 임상 인터뷰 발화 시퀀스로부터 우울증을 탐지하기 위한 확률적(Probabilistic) 프레임워크로, PHQ-8 점수를 예측하는 동시에 보정된 불확실성을 모델링한다. PTTSD는 시퀀스-투-시퀀스 및 시퀀스-투-원(sequence-to-one) 변형을 포함하며, 두 변형 모두 LSTM, 셀프-어텐션(self-attention), 잔차 연결(residual connection)을 결합하고 가우시안(Gaussian) 또는 스튜던트-t(Student's-t) 출력 헤드를 음의 로그 가능도(negative log-likelihood)로 학습한다. 시퀀스-투-시퀀스 변형은 타깃이 단일 세션 수준 점수임에도 불구하고, 인터뷰 전반에 걸쳐 예측 신뢰도가 어떻게 변화하는지에 대한 시간적 분석을 가능하게 한다. E-DAIC 및 DAIC-WOZ에서 평가한 결과, PTTSD는 텍스트 전용 시스템 중 경쟁력 있는 성능을 달성하며(예: E-DAIC에서 MAE = 3.85, DAIC에서 3.55), 잘 보정된 예측 구간을 생성한다. 어블레이션 실험을 통해 어텐션과 확률적 모델링의 가치가 확인되며, 세 부분으로 구성된 보정 분석과 정성적 사례 연구는 불확실성 인식 예측의 임상적 관련성을 부각한다.
목적: 검색-증강 생성(RAG)이 전자 건강 기록(EHR) 기반 임상 추론에서 긴 컨텍스트 프롬프팅의 효율적 대안으로 기능할 수 있는지 평가한다. 방법: 의료 시스템 전반에 걸쳐 재현 가능하며 추론 복잡도가 서로 다른 세 가지 EHR 기반 과제를 정의하였다: 1) 영상 검사 절차(촬영 방식, 날짜, 해부학적 부위) 추출, 2) 치료 목적 항생제 사용 타임라인 생성, 3) 입원의 핵심 진단 식별. 미국 학술 의료 기관의 실제 입원 임상 노트를 사용하여 세 가지 대규모 언어 모델(LLM)(GPT-4o-mini, Mistral Medium 3, DeepSeek V3.1)을 다양한 컨텍스트 양 조건에서 평가하였으며, 타깃 검색 방식과 최근 임상 노트 활용 방식을 비교하였다. 결과: 영상 검사 절차 과제에서 RAG는 최근 노트 입력 방식을 크게 상회하였으며, 8K 토큰 미만을 사용하면서도 긴 컨텍스트 성능을 초과하였다(모든 모델에서 F1 기준 0.17–9.83 향상). 항생제 타임라인 과제에서도 유사한 이점이 관찰되어, 검색된 8K 미만의 토큰이 긴 컨텍스트 최근 노트 방식의 성능에 필적하였다(Jaccard 기준 −3.26~+3.24). 오류 분석 결과, 임상 노트 내 정보 누락—주로 병원 간 전원으로 인한—이 성능을 일정 부분 제한하는 것으로 나타났다. 그러나 진단 생성 과제의 성능은 방법 및 모델에 관계없이 대체로 정적으로 유지되었다. 논의: RAG는 전 과제에 걸쳐 강력한 토큰 효율성을 보였으며, 영상 추출 및 항생제 타임라인 재구성 과제에서 가장 명확하고 일관된 성능 향상이 관찰되었다. 진단 생성은 가장 어려운 과제로, 문서화 가변성과 평가 제약으로 인한 상한 효과(ceiling effect)가 존재함을 시사한다. 결론: 본 연구 결과는 신규 모델이 점점 더 긴 텍스트를 처리할 수 있게 되는 추세에도 불구하고, RAG가 대량의 EHR에 대한 임상 과제에서 경쟁력 있고 효율적인 접근법으로 유효함을 시사한다.
Measuring the practice of shared-decision making (OPTION12): An Investigation into Open-sourced Smaller LLMs (OS-sLLMs) for Better Privacy and Sustainability
OPTION12 프레임워크를 활용한 공유 의사결정(SDM) 자동 평가에 오픈소스 소형 언어 모델(OS-sLLMs)을 적용한 LLM4SDM 연구로, 네덜란드어 흑색종 상담 전사본을 대상으로 범용·의료 도메인 모델 5종을 비교한 결과 의료 도메인 모델은 심각한 환각과 인스트럭션 수행 실패를 보인 반면 Gemma3:12b가 인간 주석과 가장 높은 상관관계(Pearson r=0.51)를 달성했다. 현재 OS-sLLMs이 인간 주석자를 완전히 대체하기는 어렵지만, 프라이버시를 보호하는 휴먼-인-더-루프 SDM 평가 자동화를 위한 Judge-LLM 합의 프레임워크를 제안하며 유망한 가능성을 제시한다.
ICD-11 전 범주에 걸친 1,193건의 비식별 정신과 전자건강기록(EHR)을 기반으로 S.O.A.P. 임상 워크플로우 전체를 시뮬레이션하는 가상 평가 환경 MentalHospital을 제안하며, 루브릭 기반 SFT와 전문가 가이드 DPO로 학습된 5개 도메인별 평가자 MentalEval을 함께 개발한다. 벤치마크 결과, 최고 성능의 대규모 언어 모델(LLM)도 객관적 정신과 역량에서 임상의 대비 37.28 퍼센트 포인트 낮은 성능을 보이며, 정신 상태 평가가 핵심 병목 구간으로 나타났다.
전자 의무 기록에서 정보를 추출하는 임상 자연어 처리(NLP) 프로젝트의 성공률을 높이기 위해, 알고리즘 지식만으로는 부족하다는 점을 지적하며 시스템 개발 생명주기(SDLC)를 NLP 프로젝트에 체계적으로 적용하는 단계별 방법론을 제시한다. 특히 LLM의 환각(hallucination) 문제와 의미적·맥락적 모호성을 포함한 실제 프로젝트 위험 요소를 계획, 분석, 설계, 구현, 테스트, 배포, 유지보수 각 단계별로 다루며 임상 정보학 실무자를 위한 구체적인 지침을 제공한다.
이탈리아 병원 응급실에서 수집한 약 420만 건의 익명화된 임상 노트로 구성된 이탈리아어 최대 규모의 공개 임상 코퍼스 eCREAM-MedCorpus를 소개하며, 호흡곤란과 의식 소실 두 가지 환자 상황에 대해 132개 항목으로 전문가 주석된 약 6천 건의 하위 집합을 포함한다. CRF 작성(CRF-filling)을 새로운 구조화 정보 추출(information extraction) 벤치마크로 제안하고, Gemma-27B와 MedGemma-27B를 활용한 제로샷 기준선 결과를 제시한다.
위 생검 병리 보고서에서 H. pylori 양성 여부 등 4개의 임상 이진 필드를 자동으로 추출하기 위해 필드명 기반 근거 연결 다중 에이전트 시스템(nMAS)을 싱가포르 의료기관의 익명화 보고서 54건에 적용한 결과, 216개 분류 결정 중 213개를 올바르게 판별하여 98.61%의 전체 정확도를 달성하였다. 예측 성능보다는 근거 원문 문장을 포함한 추적 가능한 워크플로우 통합이 핵심 기여점이며, 수작업 대비 검토 시간을 83.3 직원-시간에서 1.4 직원-시간으로 대폭 단축할 수 있음을 시사한다.
배경: 질병 중증도는 전자 의료 기록(EHR)에서 규칙 기반 접근법으로 포착하기 어려운 다차원적 구성 개념이다. 에이전트 기반 대규모 언어 모델(LLM) 시스템은 임상 근거를 종합하고 EHR에 대해 추론할 수 있으나, 이 과제에 대해서는 아직 평가되지 않았다.
방법: MOSAIC는 제2형 당뇨병(T2D)을 개념 증명으로 사용하는 중증도 표현형 분류를 위한 2단계 에이전트 기반 LLM 프레임워크이다. MOSAIC는 합성 코호트(SyntheticMass; 오픈 가중치 N = 4,886; 클로즈드 가중치 N = 200)에서 세 가지 알고리즘 기준 정답(DCSI, DiSSCo, Cooper) 및 전체 원인 사망률과 사건 합병증에 대해 평가되었다. 오픈 가중치(로컬 배포 가능) 파이프라인과 독점 파이프라인도 비교되었다.
결과: 생성된 프레임워크는 바이오마커 기반 혈당 병기 분류, 베타세포 기능, 건강의 사회적 결정 요인을 포함하여 비교 대상에 없는 영역을 포괄하였다. 오픈 가중치 MOSAIC는 독점 파이프라인과 일치하였으며(클로즈드 대 오픈 가중치 가중 카파 = 0.773), Cooper와는 중등도 일치(kappa = 0.597), DCSI와는 중등도 일치(kappa = 0.534), DiSSCo와는 보통 일치(kappa = 0.320)에 도달하였다. 에이전트 기반(유형 1) 등급은 전체 원인 사망률에서 유의미한 분리를 보였으며(log-rank p < 0.001; 비기준선 등급의 조 위험비 1.6–2.4), 상위 등급에서는 비단조적 분리가 나타났고, 사건 합병증에 대해서는 역방향 그래디언트(log-rank p < 0.001)가 관찰되어 감수성 있는 개체의 고갈과 일치하였다. 에이전트 기반 분류는 동일한 루브릭의 결정론적 실행(MOSAIC Frozen; kappa = 0.428)과도 차이를 보여, 고정된 규칙을 넘어선 추론이 이루어짐을 시사하였다.
결론: MOSAIC는 에이전트 기반 LLM 시스템이 T2D의 구조화된 EHR 데이터로부터 임상적으로 의미 있는 중증도 표현형을 생성하고 적용할 수 있음을 보여준다. 유사하게 다차원적 중증도를 가진 다른 질환으로의 확장은 추가 연구가 필요하다.
본 연구는 SMM4H-HeaRD 2026의 여섯 번째 공유 과제로서, Cancer Genome Atlas(TCGA) 병리 보고서를 활용하여 종양(Tumor), 림프절(Node), 전이(Metastasis)에 해당하는 TNM 병기 레이블을 독립적으로 예측하는 것을 목표로 한다. 이 문제는 세 가지 다중 레이블 분류(multi-label classification) 과제로 구성된다. 우리는 TF-IDF(Term Frequency-Inverse Document Frequency) 특징과 ClinicalBERT, BioBERT, PubMedBERT의 임베딩을 활용하여 고전적 방법과 심층 학습 방법을 모두 탐색한다. 이러한 표현은 로지스틱 회귀(Logistic Regression, LR), LightGBM(Light Gradient Boosting Machine), 피드포워드 신경망(Feed-Forward Neural Networks, FFNN), 와이드 잔차 네트워크(Wide Residual Networks, WRN)와 함께 사용된다. 실험 결과, 개별 임베딩은 TNM 레이블 분류에서 유사한 성능을 보이는 반면, 이들의 조합은 예측 능력을 향상시킨다. WRN은 학습 단계에서 AUROC 점수 0.839(T), 0.8502(N), 0.803(M)과 F1 점수 0.622, 0.702, 0.9337을 각각 달성한다. TF-IDF를 결합한 LightGBM은 학습 단계에서 AUROC 점수 0.9368(T), 0.9524(N), 0.8311(M)과 F1 점수 0.7559(T), 0.7384(N), 0.7017(M)로 가장 우수한 성능을 보인다. 또한 테스트 세트에 대한 Codabench 결과에서 테스트 세트 1의 T, N, M 범주에 대한 Macro-F1 점수는 각각 0.978, 0.957, 0.879이며, 테스트 세트 2의 T, N, M에 대한 Macro-F1 점수는 각각 0.807, 0.767, 1.0을 기록한다. 그러나 테스트 세트의 평가 단계에서는 성능이 저하되어, 전체 병기에 걸친 Macro-F1 점수가 테스트 세트 1에서 2로 0.938에서 0.858로 하락하였으며, 이는 모델 일반화 능력의 한계, 클래스 불균형에 대한 민감성, 그리고 긴 임상 문서 처리의 어려움을 시사한다. 본 연구는 효율적인 기준선(baseline) 모델과 재현 가능한 파이프라인을 제공하지만, 실제 임상 환경에서의 활용에 적합한 것으로 간주되기 전에 추가적인 최적화와 검증이 필요하다.
흉부 X-ray 영상에서 방사선 리포트를 자동 생성할 때, 추론 시 제어 파라미터 λ로 임상적 정밀도(precision)와 재현율(recall)의 균형을 조절하는 강화학습(RL) 프레임워크를 제안하며, 자연어 품질 보상과 임상 효능(clinical efficacy) 보상을 결합하고 그룹 상대 학습으로 학습 안정성을 높인다. MIMIC-CXR에서 NLG와 CE 지표 모두에서 기존 최신 방법을 일관되게 능가하고, 임상 요구에 맞게 정밀도-재현율 트레이드오프를 신뢰성 있게 제어할 수 있음을 보였다.
전자 의무 기록의 2차 활용을 위한 비식별화(de-identification) 과제를 다루며, 다양한 인구통계 및 문서 유형을 포괄하는 1,381개 임상 노트와 10,229개 PHI 스팬으로 구성된 SHIELD 데이터셋을 공개하고, Gemini 2.5 Flash를 교사 모델로 삼은 지식 증류(distillation) 프레임워크로 DeBERTa v3 소형 언어 모델을 훈련했다. 증류된 모델은 표준 워크스테이션에서 동작하면서 스팬 수준 정밀도 0.89, 재현율 0.88을 달성해, 클라우드 API 없이 병원 방화벽 내부에 비용 효율적으로 배포 가능한 비식별화 파이프라인을 제시한다.
임상 머신러닝은 임상의가 주석을 달기보다 대규모 언어 모델(LLM)이 생성한 학습 코퍼스에 점점 더 의존하고 있으며, 이러한 코퍼스는 보고된 규모를 기반으로 설명되고 재사용된다. 우리는 데이터 양이 정보 내용을 반영하는지 검증한다. 167,034개의 환자 내러티브에 적용된 멀티 에이전트 임상 추출 파이프라인의 전체 출력물을 분석하여—11채널 파이프라인 중 텍스트를 포함하는 10개 채널에 걸쳐 생성된 총 25.1억 토큰—우리는 출처 기반 중복성 분해(Provenance-based Redundancy Decomposition)를 도입하여 전체 출력물을 출처에 따라 토큰 수준에서 분류한다. 출력물의 단 10.9%만이 학습 가능한 고유 콘텐츠이며, 79.4%는 중복이다. 즉 원시 토큰 수는 정보 내용을 약 9배 과대평가한다. 중복성은 두 가지 별개의 메커니즘을 통해 발생하는데, 항목별 필드에 소스 컨텍스트를 그대로 복사하는 것과 레코드 전반에 걸쳐 생성된 텍스트가 중복되는 것이며, 전자만이 손실 없이 제거 가능하다. 무손실 압축에 기반한 독립적이고 모델 비의존적인 분석이 이 중복성을 확인하며, 출처 레이블을 참조하지 않고도 두 가지 메커니즘을 복원한다. 파이프라인 채널 하나는 거의 중복성이 없어, 중복성 수준이 LLM 추출의 고정적 특성이 아니라 각 채널의 구조 방식에 따라 달라짐을 보여준다. 수정되지 않은 중복성은 가장 많은 항목을 생성하는 더 길고 복잡한 사례에 가중치를 부여하기 때문에, 코퍼스의 토큰 수준 학습 분포를 왜곡하며 이를 직접 측정한다. 통제된 다운스트림 실험에서, 동일한 토큰 예산 하에 적응(adaptation) 전 코퍼스의 중복을 제거하면 외부 질병 인식 벤치마크에서 임상 인코더 성능이 향상되었으며, 이는 적응 깊이 전반에 걸쳐 강건하게 나타났고 두 번째 벤치마크에서도 재현되어 중복성이 저장 공간 이외에도 측정 가능한 비용을 수반함을 확인한다. 분류 도구는 공개적으로 배포된다.
대규모 언어 모델(LLM)은 임상 근거를 요약하는 데 점점 더 많이 활용되고 있으며, 여기서 주장의 가중치는 그것이 얼마나 강하게 뒷받침되느냐에 달려 있다. 그러나 이러한 모델들은 신뢰도를 제대로 전달하지 못하며, 진실성처럼 모델이 명시하지 않는 속성들은 종종 활성화 값에서 읽어낼 수 있다. 임상 모델이 진실성과 구별되는 근거 강도를 내부적으로 인식하고 요청 시 이를 명시하는지는 검증된 바 없으며, 그러한 신호가 어휘적일 가능성도 존재한다. 우리는 여섯 개의 공개 출처에서 45,134개의 임상 주장을 수집하고, 20,611개를 세 가지 독립적인 프레임워크 하에서 4단계 근거 등급으로 조화시킨 뒤, 여러 개발사의 22개 로컬 오픈 가중치 LLM(0.6~700억 파라미터; 범용, 의료, 추론 모델)을 어휘적·진실성·프레임워크 간 통제 조건하에 테스트하였다. 선형 추정기는 모든 모델에서 등급을 복원하였으나(중앙값 AUROC 71.8), 디코딩 가능성은 스케일과 함께 증가하지 않았으며 추론 모델에서 가장 낮았다. 모델이 명시한 등급은 우연 수준에 그쳐 추정기보다 25~27퍼센트 포인트 낮았다. 복원 가능한 신호는 대부분 어휘적이었으며 주제나 프레임워크 간에 전이되지 않았으나, 사실적 진실성과는 구별되었고 약하게 뒷받침된 주장을 여전히 식별하였다(AUROC 69.2). 따라서 임상 LLM은 표현하지 않는 순서화된 근거 강도 신호를 내포하고 있으며, 그 결과 모델이 명시한 등급은 표현과 텍스트에서 복원 가능한 경우에도 주장의 뒷받침 정도를 전달하지 못한다.
대규모 언어 모델(LLM)이 의료 환경에 점점 더 배포됨에 따라, 생성되거나 기존에 존재하는 텍스트에서의 정확한 오류 탐지 및 교정은 환자 안전에 위험을 초래할 수 있는 사소한 실수조차 중요해지므로 필수적이 되었다. 오류 탐지 및 교정을 위한 기존 방법들—자동화된 검사와 휴리스틱 기반 접근을 포함하여—은 보지 못한 데이터셋에 대해 잘 일반화되지 못한다. 본 논문에서는 MedGuards를 의료 안전 가드레일로 제안하며, 이는 의료 오류 탐지 및 교정을 다중 에이전트 문맥 내 학습(ICL) 과제로 다루는 새로운 프레임워크이다. 전문화된 에이전트들이 오류를 각각 탐지, 위치 특정, 교정하고, 신뢰도 기반 중재 메커니즘이 추론 추적(reasoning traces)과 신뢰도 점수를 사용하여 의견 불일치를 해결한다. 이 설계는 기본 LLM의 추가 학습을 요구하지 않으면서 해석 가능성, 견고성, 적응성을 향상시킨다. 또한, 참조 텍스트 내 핵심 키워드가 올바르게 생성되었는지를 고려하는 새로운 평가 지표인 Keyword-Prioritized Correction Score(KPCS)를 도입하여, 기존 지표보다 더 포괄적인 평가를 제공한다. 임상 기록으로 구성된 4개의 다국어 의료 데이터셋에 걸친 실험은 제안된 프레임워크가 여러 지표와 모델에서 유의미한 개선을 보여줌을 입증한다. 우리의 목표는 실제 의료 응용에서 LLM의 더 안전한 배포를 가능하게 하는 것이다. 재현성을 위해 코드를 https://github.com/congboma/MedGuards 에 공개한다.