PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28798v2cs.AI

고정 대규모 언어 모델을 활용한 데이터 융합 및 예측를 위한 일반 다중모달 프로bing 프레임워크: 다중모달 EHR 데이터에 대한 근거

A General Multimodal Probing Framework for Data Fusion and Prediction with Frozen Large Language Models: Evidence from Multimodal EHR Data

본 논문의 주요 목표는 의료 도메인에서 서로 다른 출처의 다중모달 데이터에 기반한 예측를 위한 일반 프레임워크를 제안하는 것이다. 우리는 고정(frozen) 의료 대규모 언어 모델(LLM) 표현이 다중모달 1차 진단 범주 예측을 위한 공유 임베딩 공간으로 기능할 수 있는지 평가했다. 구조화된 전자건강기록(EHR) 변수와 정보 누출(leakage)을 제거한 퇴원 기록(discharge-note) 구간을 직렬화하여 공유 고정-LLM 표현 공간에 매핑하고, LLM을 미세조정하지 않고 선형 프로be(linear probe)로 1차 진단 범주를 복원하는 백본 유연(backbone-flexible) 프로bing 프레임워크를 제안한다. 13,645건의 입원(7개 진단 범주)으로 구성된 MIMIC-IV 코호트에서, 일치된 분할 및 컨텍스트 예산 하에서 XGBoost 및 세 가지 텍스트 베이스라인(CAML, LAAT, PLM-ICD)과 비교하여 서로 다른 모달리티 입력(구조화만, 비구조화만, 결합)에 대해 트랜스포머 층 및 여섯 개의 고정 백본 전반에서 프로bing을 수행했으며, MIMIC-III에서 데이터셋 간 견고성도 검증했다. 결합(Combined) 최종 층 프로be는 MIMIC-IV에서 top-1 정확도 88.86%를 달성하여 CAML 및 PLM-ICD를 유의하게 능가했고 LAAT와는 통계적으로 동등했다. 결합 정확도는 여섯 백본에서 87.69%에서 89.25% 범위였다. MIMIC-III에서는 도메인 내 결합 프로bing이 74.18% 정확도에 도달하여 세 베이스라인을 모두 유의하게 초과했으며, 전이 학습(transfer-learning) 테스트에서 MIMIC-IV 고정 표현 위 280만 매개변수 어댑터가 92.51% 정확도에 도달하여 적응(adapted) LAAT(85.54%)를 능가했다. 고정 LLM 임베딩은 구조화 정보와 서술형 EHR 정보를 통합한다. 결합 구성은 모든 설정에서 가장 강했으며, 그 표현은 소형 어댑터를 통해 데이터셋 간 전이되었다. 고정 LLM 표현에 대한 다중모달 프로bing은 EHR 모달리티를 연구하고 임상 표현을 데이터셋 간 적응하는 실용적이고 백본 유연한 접근을 제공한다.

arXiv:2607.22264v1cs.LG

다중모달 입력을 갖는 자기회귀 EHR 파운데이션 모델

Autoregressive EHR Foundation Models with Multimodal Inputs

토큰화된 전자건강기록(EHR)으로 학습된 자기회귀 파운데이션 모델은 제로샷 임상 예측을 지원할 수 있지만, 대부분은 구조화된 이벤트 코드만을 대상으로 동작하며 여러 모달리티를 체계적인 방식으로 통합하지 않는다. 우리는 모달리티별 잠재 압축과 시간 정렬을 갖춘 게이트 크로스-어텐션(gated cross-attention)을 사용하여, ECG 파형, 흉부 X-ray 이미지, 임상 기록 등 보조 임상 모달리티로 이러한 모델을 조건화하는 프레임워크를 제시한다. 우리는 두 가지 핵심 설계 선택을 조사한다: (1) 다중모달 크로스-어텐션에 들어가기 전에 모달리티별 긴 시퀀스(예: ECG 시계열)를 어떻게 압축할 것인가. 이 특징은 연산 오버헤드를 줄이는 데 필수적일 수 있으며 일반화에도 유리할 수 있다; (2) 각 모달리티에 대한 사전학습 인코더 선택이 하류 성능에 어떤 영향을 미치는가. MIMIC-IV에서 통제된 ablation을 통해, 최적의 잠재 압축 구성이 압축하지 않은 크로스-어텐션과 평균 풀링 모두를 능가함을 보인다. 인코더 선택은 모달리티 내에서 뚜렷한 효과를 보이며, 더 강력한 사전학습 인코더가 일관되게 더 약한 대안들을 능가한다. 또한 보조 모달리티를 단순히 추가하는 것만으로는 EHR 전용 기준선 대비 ICU 사망률 예측에서의 개선을 보장하지 않음을 보인다. 이는 융합 아키텍처의 신중한 설계와 임상 맥락에서의 적절한 평가가 필요함을 시사한다.

arXiv:2607.09982v1cs.LG

해석 가능하고 견고하며 감사 가능한 임상 예측을 위한 멀티모달 라우팅

Multimodal Routing for Interpretable, Robust, and Auditable Clinical Prediction

전자 건강 기록(EHR) 데이터는 본질적으로 멀티모달이며, 여러 모달리티를 활용하면 예측 성능을 향상시킬 수 있다. 그러나 기존 접근법의 대부분은 딥 퓨전(deep fusion)에 의존하여 개별 모달리티가 예측에 기여하는 방식을 불분명하게 만들고, 멀티모달 추론의 해석 가능성을 제한한다. 우리는 세 가지 EHR 모달리티—구조화된 종단 변수(L), 임상 노트(N), 흉부 X선(I)—에 걸쳐 해석 가능하고 견고하며 감사 가능한 추론을 가능하게 하는 임상 예측을 위한 명시적 멀티모달 라우팅 프레임워크를 제안한다. 우리 모델은 개별 모달리티 신호와 비대칭적 교차 모달 상호작용을 모두 포착하기 위해 이산적인 단일 모달, 방향성 이중 모달, 삼중 모달 라우트를 구성한다. 멀티모달 추론을 감사하고 견고성을 평가하기 위해, 재학습 없이 누락된 모달리티를 시뮬레이션하고 나머지 라우트의 가중치를 재조정하는 추론 시점 라우트 마스킹(inference-time route masking)을 도입한다. 우리는 모델 의사결정을 이해하기 위해 이러한 시나리오 하에서 성능 및 라우팅 가중치의 변화를 분석한다. MIMIC-IV의 삼중 모달 환자 데이터를 사용하여 다중 레이블 표현형 예측(K = 25)과 이진 ICU 사망률 예측에 대해 프레임워크를 평가하고, 임상 질환 그룹 전반에 걸쳐 모달리티 의존도의 체계적인 차이를 밝혀낸다. 전반적으로, 우리의 프레임워크는 멀티모달 임상 예측에 대한 투명하고 감사 가능하며 실용적인 접근법을 제공하며, 서로 다른 데이터 소스가 모델 결정을 이끄는 방식에 대한 해석 가능성, 견고성, 그리고 통찰을 제공한다.

arXiv:2607.11175v1cs.AI

자기 진화하는 임상 시스템으로의 경로: 보조에서 자율성으로의 의료 에이전트 스케일링

The Path to Self-Evolving Clinical Systems: Scaling Medical Agents from Assistance to Autonomy

대규모 언어 모델(LLM)과 비전-언어 모델이 이미지와 텍스트를 공동으로 해석하고 추론하는 능력이 점점 향상되면서 의료 에이전트가 재편되고 있으며, 태스크별 예측기에서 임상 환경에서 인식하고 추론하고 계획하고 기억하며 행동하는 자율 시스템으로 나아가고 있다. 본 연구는 기존 문헌의 능력 우선 관점에서 벗어나 임상 배포를 출발점으로 삼으며, 의료 에이전트가 실제 환경에서 신뢰받기 위해 어떤 태스크, 오염 방지(contamination-resistant) 벤치마크, 상호작용 학습 환경이 필요한지 묻는다. 의료 에이전트는 부분 관측 가능성(partial observability) 하의 순차적 의사결정 시스템으로 형식화되며, 보조(assisted), 협력(cooperative), 완전 자율(fully autonomous) 운영을 아우르는 3단계 자율성 분류 체계와 함께 제시된다. 이 분야는 프레임워크 스케일링, 능력 스케일링, 환경 스케일링으로 구성된 통합 스케일링 척추(scaling spine)를 따라 정리된다. 이 프레임워크 내에서, 도구·데이터·임상 짐(clinical gym)의 통합인 임상 환경 스케일링은 PACS, EHR, FHIR 생태계에서 운영되는 에이전트에게 가장 실행 가능하면서도 충분히 탐구되지 않은 방향으로 파악된다. 임상 자기 진화(clinical self-evolution), 즉 에이전트가 매개변수 스케일링만이 아닌 환경과의 상호작용을 통해 향상되는 것은, 자기 개선 에이전트, 에이전트 짐(agent gym), 테스트 타임 컴퓨트 스케일링으로부터 통찰을 얻어 핵심 연구 프론티어로 자리매김된다. 방사선학, 병리학, 안과학, 병원 워크플로우에 걸친 응용이 환각(hallucination), 연쇄 실패(cascading failures), 공정성(fairness) 등의 배포 과제와 함께 검토된다. 300개 이상의 참고문헌을 집약하고, 특히 2025년부터 2026년까지의 발전에 중점을 두어, 본 연구는 실제 임상 실무를 위한 신뢰할 수 있는 자기 개선 의료 영상 시스템을 향한 로드맵을 제시한다.

arXiv:2606.18613v3cs.CL

대규모 언어 모델(LLM)은 의사를 보조할 준비가 되었는가? 대화형 의사-환자-EHR 보조를 위한 PhysAssistBench

Are LLMs Ready to Assist Physicians? PhysAssistBench for Interactive Doctor-Patient-EHR Assistance

의료용 대규모 언어 모델(LLM)의 가장 현실적인 단기적 역할은 의사를 대체하기보다는 보조하는 것이지만, 현재의 평가는 종종 임상 지식, 전자 건강 기록(EHR) 시스템 상호작용, 또는 환자와의 소통과 같은 개별적인 능력만을 테스트합니다. 의사 보조는 대신 동일한 상호작용 내에서 이러한 능력들을 조율하는 것을 요구하며, 여기서 의사는 불완전한 요청을 하고, 환자는 증상을 모호하게 설명하며, EHR 시스템은 정밀한 도구 사용을 요구합니다. 우리는 대화형 의사-환자-EHR 보조를 위한 벤치마크인 PhysAssistBench를 소개합니다. 실제 MIMIC-IV 사례를 기반으로 구축된 PhysAssistBench는 확장 가능한 파이프라인을 사용하여 에이전트 환자를 구축합니다. 이는 임상적 사실성을 유지하면서 정적인 EHR 기록을 멀티턴 임상 시나리오로 변환하는 대화형이며 기록 기반의 에이전트입니다. PhysAssistBench는 1,296개의 수동 검토 및 의사 검증된 턴으로 구성된 엄선된 이중 언어 평가 세트를 제공합니다. 선도적인 LLM을 사용한 실험에 따르면, 현재 모델들은 이 설정에서 여전히 신뢰할 수 없는 것으로 나타났습니다. 이는 임상용 LLM의 주요 병목 현상을 드러냅니다: 신뢰할 수 있는 보조는 지식, 소통, 시스템 간의 조율을 필요로 하며, 그중 어느 하나에서의 개별적인 향상만으로는 부족합니다.

arXiv:2607.09322v1cs.AI

LongMedBench: 장기 임상 의사결정을 위한 의료 에이전트 벤치마킹

LongMedBench: Benchmarking Medical Agents for Long-Horizon Clinical Decision-Making

본 연구에서는 장기 임상 의사결정을 위한 실제 전자건강기록(EHR) 기반 벤치마크인 LongMedBench를 소개한다. 대규모 언어 모델(LLM) 기반 의료 에이전트에 대한 기존 평가는 대부분 단문 맥락 지식 QA와 도구 사용에 집중되어 왔다. 그러나 실제 의료 현장은 본질적으로 종단적이며, 임상의는 반복적인 방문, 검사, 치료 변화 전반에 걸쳐 근거를 종합해야 한다. 따라서 현실적인 평가를 위해서는 장기 상호작용이 필수적이다. LongMedBench는 MIMIC-IV 입원 기록과 임상 노트를 시계열 이벤트 스트림 및 장문 맥락 메모리 데이터셋으로 통합하는 재현 가능한 파이프라인을 통해 구축되었으며, 에이전트와 임상 환경 간의 장기 다중 세션 상호작용을 지원한다. 본 벤치마크는 335명의 환자로 구성되며, 환자당 평균 19.72회의 입원 방문과 방문당 평균 44.91건의 의료 이벤트를 포함한다. 장기 의사결정 프로세스에 기반하여, 사실 기반 QA, 시간적 추론, 장기 의사결정의 세 가지 평가 스위트로 구성된 평가 분류 체계를 제안한다. 이 분류 체계는 에이전트가 확장된 시간적 범위에 걸쳐 환자의 과거 정보를 얼마나 이해하고 활용하는지를 측정한다. 실험 결과, 최근 LLM들은 명시적 타임스탬프를 잘 활용할 수 있는 반면 암묵적 시간 추론에는 어려움을 보이며, 검색-증강 생성(RAG)과 에이전트 메모리 시스템은 정보 검색 태스크의 성능을 향상시키지만 의사결정 태스크의 성능은 모델의 즉각적인 컨텍스트에 크게 의존함을 확인하였다.

arXiv:2607.08257v1cs.AI

MentalHospital: 정신과 임상 면담 평가를 위한 가상 환경

MentalHospital: A Virtual Environment for Evaluating Psychiatric Clinical Encounters

ICD-11 전 범주에 걸친 1,193건의 비식별 정신과 전자건강기록(EHR)을 기반으로 S.O.A.P. 임상 워크플로우 전체를 시뮬레이션하는 가상 평가 환경 MentalHospital을 제안하며, 루브릭 기반 SFT와 전문가 가이드 DPO로 학습된 5개 도메인별 평가자 MentalEval을 함께 개발한다. 벤치마크 결과, 최고 성능의 대규모 언어 모델(LLM)도 객관적 정신과 역량에서 임상의 대비 37.28 퍼센트 포인트 낮은 성능을 보이며, 정신 상태 평가가 핵심 병목 구간으로 나타났다.

arXiv:2606.28623v1cs.LG

Mamba 기반 아키텍처의 표현을 활용한 종단 데이터에서의 환자 서브타이핑 개선

Improving Patient Subtyping on Longitudinal Data using Representations from Mamba-based Architecture

전자 건강 기록(EHR) 데이터를 활용한 효과적인 환자 서브타이핑(그룹화 또는 클러스터링이라고도 함)은 정밀 의학 발전에 크게 기여할 수 있다. 그러나 시계열 EHR 데이터셋의 서브타이핑은 복잡성과 불규칙성을 포함한 EHR 고유의 문제들로 인해 어려운 것으로 알려져 있다. 본 연구에서는 효과적인 EHR 표현을 학습하고 향상된 환자 서브타이핑을 가능하게 하는 자기지도(self-supervised) Mamba 기반 모델을 제안한다. 제안된 모델을 공개 및 비공개 실세계 EHR 데이터셋에서 평가하여 가용한 레이블을 기반으로 데이터를 분류하고, 모델에서 학습된 표현을 바탕으로 환자를 서브타이핑한다. 광범위한 실험을 통해, 본 모델의 설계 선택이 예측 과제에서 경쟁력 있는 기준선 모델들에 비해 더 나은 성능을 이끌어냄을 입증한다. 또한, 여러 클러스터링 기법을 평가하여 EHR 모델의 시계열 기록을 기반으로 한 환자 서브타이핑에 유의미한 통찰을 제공함을 보인다(구현 코드는 https://github.com/healthylaife/triplet_mamba 에서 확인 가능하다).

arXiv:2606.24102v1cs.CL

PORTER: Language-Grounded Event Representations for Portable Structured EHR Foundation Models

고정 어휘 이벤트 토큰의 한계를 피하기 위해 PORTER는 동결된 텍스트 인코더로 임상 이벤트 설명을 표현하고, FiLM 기반 수치 경로와 자기회귀 사전학습 시계열 백본으로 구조화된 EHR 파운데이션 모델을 학습한다. 소아병원 74개 예측 과제에서 기존 고정 어휘 모델과 평균 AUROC가 유사했고, 사전학습에 없던 이벤트 설명으로도 재학습 없이 목표 어휘 모델 대비 97.1%의 AUROC를 회복했으며 MIMIC 전이에서도 고정 어휘 모델을 능가했다.

arXiv:2606.17474v1cs.CL

AIPatient Arena: 종단 간 임상 상담 워크플로에서 EHR 기반 대규모 언어 모델 평가

AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows

대규모 언어 모델(LLM)은 임상 상담 업무에 점점 더 활용되고 있으나, 대부분의 의학 평가는 정적이거나 단일 턴(single-turn)이거나 결과 중심으로만 이루어져 실제 진료가 갖는 순차적·불확실·상호작용적 특성을 반영하기 어렵다. 이에 우리는 임상 역량의 8개 차원에 걸쳐 LLM의 임상적 유용성을 평가하는 EHR 기반 평가 프레임워크인 AIPatient Arena를 제안한다. 이 프레임워크는 EHR 데이터를 환자별 지식 그래프(knowledge graph)에 통합하여 다중 턴(multi-turn) 의사-환자 상호작용을 가능하게 한다. AIPatient Arena를 437명 환자의 주 코호트와 119명 및 67명 환자의 두 개의 분포 외(out-of-distribution) 검증 코호트에 적용했다. LLM은 의학 면담 질문 기술(QS; 평균 점수 4.43-4.99/5), 윤리 및 전문적 태도(ET; 4.38-4.93/5), 임상 설명의 명확성 및 투명성(EX; 3.80-4.72/5)에서 우수한 성능을 보였다. 정보 통합(II; 3.19-4.21/5)과 약물 안전성 및 근거 제시(MS; 3.13-3.78/5)에서는 중간 수준의 성능을 보였으나, 모호한 환자 응답 처리(HR; 2.57-3.32/5), 정보 포괄성(IC; 2.08-3.02/5), 진단 정확도 및 추론(Dx; 2.63-3.55/5)에서는 지속적인 취약점이 관찰되었다. 과정 기반 평가는 반복적인 질문, 과거 병력 누락, 불확실성에 대한 부적절한 대응 등 반복되는 상호작용 실패를 드러냈다. 더 풍부한 대화 맥락은 진단 추론을 향상시켰지만 치료 계획 수립에서는 제한적인 개선만을 가져왔다. 이러한 결과는 최종 답변 정확도만으로는 임상 준비도를 평가하기에 불충분하며, 상담 전 과정에서 모델이 정보를 수집·해석·전달하는 방식을 평가하는 것이 중요함을 시사한다. AIPatient Arena는 의료 LLM의 워크플로 지향적 배포 전 평가를 위한 EHR 기반 프레임워크를 제공한다.