MedRLM: 긴 문맥 임상 추론, 센서 유도 선별, 증거 기반 의사결정 지원 및 지역-3차 전원 최적화를 위한 재귀적 멀티모달 건강 지능
MedRLM: Recursive Multimodal Health Intelligence for Long-Context Clinical Reasoning, Sensor-Guided Screening, Evidence-Grounded Decision Support, and Community-to-Tertiary Referral Optimization
한국어 초록
실제 임상 의사결정 지원(clinical decision support)은 고립된 의학적 질문에 답하는 것이 아니라 이질적이고 종단적인(longitudinal) 환자 정보에 대한 추론(reasoning)을 필요로 합니다. 그러나 현재의 의학용 대규모 언어 모델(LLM) 및 검색 증강 생성(RAG) 시스템은 종종 단일 단계 프롬프트(prompt) 또는 검색에 의존하는데, 임상 증거가 긴 전자 건강 기록(EHR), 의료 영상, 센서 스트림, 가이드라인 및 전원 제약에 분산되어 있는 경우 이러한 접근 방식은 취약할 수 있습니다. 본 논문은 긴 문맥 임상 추론, 센서 유도 선별, 지역-3차 전원 지원을 위한 재귀적 멀티모달 건강 지능 프레임워크인 MedRLM을 제안합니다. 모든 환자 정보를 하나의 프롬프트(prompt)로 압축하는 대신, MedRLM은 환자 케이스를 재귀적으로 검사, 분해, 검색, 검증 및 합성할 수 있는 외부 임상 환경(environment)으로 취급합니다. 이 프레임워크는 임상 텍스트, 종단적 EHR, 의료 영상, 생리학적 센서 신호, 가이드라인 검색, 불확실성 감사(auditing) 및 전원 계획을 위한 전문화된 에이전트(agent)들을 조율합니다. 또한 환자 특이적 관찰 결과와 검색된 증거, 표준화된 정의, 센서 유래 바이오마커(biomarker) 및 전원 기준을 연결하기 위해 임상 증거 그래프 메모리(Clinical Evidence Graph Memory)를 도입합니다. 센서 유도 재귀 트리거링 메커니즘은 비정상적인 생리학적 또는 행동 패턴이 감지될 때 더 깊은 추론을 활성화하며, 불확실성 게이트 정제(uncertainty-gated refinement)는 고위험 또는 낮은 신뢰도 사례에 대한 임상의 검토를 지원합니다. 또한 EHR, 방사선학, ECG, 중환자실(ICU) 시계열 및 전원 프록시(outcome) 결과에 걸친 공개 및 인증된 임상 데이터셋(dataset)을 사용하는 실제 데이터 평가 설계를 개요합니다. MedRLM은 의학용 AI를 정적인 질문 답변에서 감사 가능하고(auditable), 멀티모달이며, 워크플로우 인식(workflow-aware) 임상 의사결정 지원으로 발전시키는 것을 목표로 합니다.
원문 초록
Real-world clinical decision support requires reasoning over heterogeneous and longitudinal patient information rather than answering isolated medical questions. However, current medical large language models and retrieval-augmented generation systems often rely on single-step prompting or retrieval, which can be fragile when clinical evidence is distributed across long electronic health records, medical images, sensor streams, guidelines, and referral constraints. This paper proposes MedRLM, a Recursive Multimodal Health Intelligence framework for long-context clinical reasoning, sensor-guided screening, and community-to-tertiary referral support. Instead of compressing all patient information into one prompt, MedRLM treats the patient case as an external clinical environment that can be recursively inspected, decomposed, retrieved, verified, and synthesized. The framework coordinates specialized agents for clinical text, longitudinal EHR, medical imaging, physiological sensor signals, guideline retrieval, uncertainty auditing, and referral planning. It further introduces a Clinical Evidence Graph Memory to connect patient-specific observations with retrieved evidence, standardized definitions, sensor-derived biomarkers, and referral criteria. A sensor-guided recursive triggering mechanism activates deeper reasoning when abnormal physiological or behavioral patterns are detected, while uncertainty-gated refinement supports clinician review for high-risk or low-confidence cases. We also outline a real-data evaluation design using public and credentialed clinical datasets spanning EHR, radiology, ECG, ICU time series, and referral-proxy outcomes. MedRLM aims to move medical AI from static question answering toward auditable, multimodal, and workflow-aware clinical decision support.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20164v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
임상적 예후 예측을 위한 이종 근거 통합 기반 검색 증강 다중 모달 언어 모델
Retrieval-Augmented Multimodal Language Model with Heterogeneous Evidence Integration for Clinical Prognosis
임상적 예후 예측은 정형 측정치, 생체 신호 파형, 시계열적 과거 이력, 그리고 환자군 맥락의 통합을 필요로 한다. 본 연구에서는 특징(feature)별 수치 토큰화(tokenization), 시계열 심전도(ECG)의 최신성 가중 집계, 이중 모달 환자군 메모리 뱅크를 결합한 다중 모달 언어 모델(language model)인 PRISM(Population-Retrieved Inference for Structured Multimodal Prognosis)을 소개한다. 검색은 표현 공간에서 수행된다. 즉, 모델(model)은 유사한 학습(training) 코호트 진료의 평균 풀링(mean-pooled) 임베딩을 전달받으며, 검색된 개별 기록은 프롬프트(prompt)에 직접 입력되지 않는다. 1,443개 태스크로 구성된 MDS-ED 벤치마크에서 PRISM은 진단 86.2%, 악화 93.1%, 중환자실(ICU) 입원 91.8%, 사망률 92.8%의 AUROC를 달성한다. 이 결과는 기존 베이스라인에서는 사용할 수 없었던 내원 전 96시간 윈도우를 활용한 것이다. 벤치마크 표준 윈도우 입력만 사용했을 때 PRISM은 0.8895의 AUROC를 기록하며, 이는 UniPACT의 0.8937 및 MDS-ED의 0.8889와 비견된다. 동일한 5개 근거 스트림과 고정된(frozen) 인코더를 사용하는 입력 매칭 컴팩트 융합 모델이 0.7652 AUROC를 달성한 것에 비해 PRISM은 0.9092를 달성한다. 수치형 전자건강기록(EHR) 인코딩을 텍스트 직렬화로 대체하면 AUROC가 3.66포인트 감소하고, 내원 전 이력을 제거하면 1.97포인트 감소하며, 검색을 제거(zeroing)하면 0.99포인트 감소한다. 실제 검색은 무작위 이웃 검색 대비 매크로 평균 0.97포인트 앞서지만, 대응 태스크 수준 부호 검정에서는 일관된 우위를 확립하지 못했다(p=0.067). 외부 MC-MED 코호트에서 지도 미세조정(supervised fine-tuning)은 0.8611 AUROC를 기록하여, 로컬에서 학습된 그래디언트(gradient) 부스팅의 0.8227 및 소스 코호트 전용 PRISM의 0.7841보다 우수했다. 이러한 결과는 구조 인지적 다중 모달 통합 및 지도 외부 적응의 효용을 뒷받침한다.
엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구
Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory
저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.
빠르고 정확하게: RAG와 미세조정 간 의미적 집중 기반 워크로드 분할을 통한 개인화 LLM 성능 개선
Fast and Accurate: Improving Personalized LLM Performance by Semantic Concentration Inspired Workload Split between RAG and Fine-Tuning
개인화된 대규모 언어 모델(LLM) 서비스가 지속적으로 증가함에 따라, 다음으로 답해야 할 질문은 서비스/사용자 경험의 품질을 어떻게 개선할 것인가이며, 이는 개인화된 LLM 생성 정확도/품질과 추론 지연시간으로 나타난다. 매개변수 효율적 미세조정(PEFT), 검색-증강 생성(RAG) 또는 Full PEFT+RAG와 같은 최신 설계들이 도움이 될 수 있지만, 이들은 사용자 이력 데이터의 이질적인 의미적 집중도(semantic concentration)를 대체로 무시하며 개인화된 LLM 성능 향상을 위한 개인 데이터의 잠재력을 완전히 끌어내지 못한다. 본 논문에서는 사용자의 개인 이력 데이터의 의미적 집중을 활용하여 PEFT와 RAG 간에 워크로드를 분할함으로써, 더 나은 생성 정확도/품질과 더 낮은 추론 지연시간 측면에서 개인화된 LLM 성능을 개선하는 것을 목표로 하는 새로운 "빠르고 정확한" 접근법인 PEFT Union RAG(PUR)를 제안한다. 간단히 말해, PUR는 사용자의 개인 이력 데이터를 분할하여 의미적으로 집중된 "핵심(core)" 정보는 오프라인 매개변수 미세조정을 위해 PEFT에 할당하고, 분산된 정보는 RAG를 위해 유지한다. 온라인 LLM 추론 중에는, PUR는 PEFT 영역이 커버하는 "핵심" 질의에 대해서는 직접 응답을 생성하고, 산발적인 "주변부(peripheral)" 질의에 대해서만 RAG를 호출한다. 실험 결과, PEFT와 RAG 간 워크로드를 적절히 분할함으로써 PUR는 여러 작업에 걸쳐 다양한 사용자에 대해 일관되게 최상의 생성 정확도/품질을 달성하는 동시에, 최고 성능 방법 대비 추론 지연시간을 14.4%–46.6% 감소시킨다.
인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기
Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval
메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.
알츠하이머병 연구의 진단 및 진행 예측을 위한 정보 누출 제어 다중 모달 학습
Leakage-Controlled Multimodal Learning for Diagnosis and Progression Prediction in Alzheimer's Disease Research
알츠하이머병(Alzheimer's disease) 예측은 불규칙한 방문 주기, 이종의 측정값, 불완전한 모달리티 문제를 수반합니다. 본 연구에서는 맞춤형 SFCN MRI 인코더, 4개의 인과적 임상 트랜스포머(clinical Transformer), 공유 융합 모듈, 과업별 ODE-GRU 역학을 결합한 다중 모달 다중 과업(multimodal multitask) 프레임워크를 제안합니다. 미세조정(fine-tuning)과 LoRA를 적용해 마지막 두 개의 MRI 블록을 적응시킵니다. Task-DRO는 과업 간 손실의 균형을 맞추며, Group-CVaR은 코호트 및 동반 질환 계층을 목표로 합니다. 브랜치별 입력 제어, 피험자 그룹화 분할, 경험적 인과성 검증을 통해 종단적 평가를 지원합니다. ADNI, OASIS-2, MIRIAD의 2,649명 피험자와 17,317회 방문 데이터를 기반으로 한 내부 검증에서, 진단, 1단계 진행, 첫 1단계 방문 진행의 AUROC는 각각 0.935 +/- 0.002, 0.884 +/- 0.003, 0.870 +/- 0.005를 기록했습니다(3개 시드에 대한 평균 +/- 표준편차). 상응하는 하이브리드 AUROC는 각각 0.951, 0.909, 0.896입니다. 다음 방문 시점의 MMSE 평균 절대 오차(MAE)는 1.61점이며, 최하위 계층의 진단 AUROC는 0.827 +/- 0.008입니다. 샘플링된 ADNI 설명 분석을 통해 과업별 입력 의존성을 식별했습니다. OASIS-3 외부 검증에서는 네트워크 및 하이브리드 진단 AUROC가 각각 0.763과 0.767, 하이브리드 다음 방문 진행 AUROC가 0.764를 기록했고, 진단 캘리브레이션 오차는 0.197에서 0.052로 감소했으며, 다음 방문 MMSE MAE는 0.86을 나타냈습니다. 시드 42에 대한 6개 구성 요소의 대응 절제 연구(ablation study) 결과, 풀링된 진단 및 진행 AUROC 차이는 -0.004에서 +0.004 사이로 나타났으며, 임상 인코더 입력을 제거하면 진단 AUROC가 0.272 감소했습니다. 본 프레임워크는 종단적 예측, 결측 모달리티 처리, 보조 동반 질환 모델링, 하위 그룹 평가를 단일 파이프라인 내에 통합합니다.
텍스트 그래디언트를 통한 트레이딩 전략 최적화
Trading Strategy Optimization via Textual Gradient
정량적(quantitative) 트레이딩 전략 설계는 과거 데이터로부터 미래 시장에서도 유효하게 유지되는 트레이딩 프로그램을 발견하는 것을 목표로 하며, 이는 블랙박스 프로그램 최적화 문제로 볼 수 있습니다. 대규모 언어 모델(LLM) 기반의 텍스트 그래디언트(textual gradient)는 반복적인 전략 개선을 위한 명시적인 최적화 방향을 제공함으로써 유망한 접근 방식을 제시합니다. 그러나 텍스트 그래디언트를 직접 적용하는 데에는 두 가지 과제가 존재합니다: (1) 최적화가 근시안적이어서 이전 평가 경험을 충분히 활용하지 못한다는 점, 그리고 (2) 종합적인 백테스트 피드백이 시간적 강건성(temporal robustness)을 간과하여 특정 시장 기간에만 우수한 성능을 보이는 전략을 선호할 가능성이 있다는 점입니다. 이러한 문제를 해결하기 위해, 본 논문에서는 강건한 트레이딩 전략 최적화를 위한 경험 유도 텍스트 그래디언트 프레임워크인 TradeGrad를 제안합니다. TradeGrad는 축적된 최적화 경험을 활용하여 텍스트 그래디언트를 추정하고, 전략 탐험과 정밀 개선을 모두 달성하기 위해 다중 스케일 수정을 사용합니다. 또한, 불리한 과거 기간에서의 성능을 강조하여 시간적 강건성을 촉진하는 기간 교차 강건 목적함수(CPRO)를 도입합니다. 중국 A주 및 미국 주식 시장에서의 횡단면(cross-sectional) 및 시계열(time-series) 전략 설계를 대상으로 한 실험 결과, TradeGrad는 네 가지 설정 모두에서 가장 우수한 표본 내(in-sample) 및 표본 외(out-of-sample) 성능을 달성함을 보여줍니다. 특히, 중국 횡단면 전략에서는 연환산 수익률 27.99%, 최대 낙폭(MDD) 12.19%, 샤프 지수(Sharpe ratio) 1.63을 달성하여 CSI 300 벤치마크 대비 약 68% 높은 성능을 기록했습니다. 추가 분석을 통해 제안된 구성 요소들의 유효성을 입증하고, 최적화 전반에 걸쳐 표본 내 및 표본 외 성능이 일관되게 향상됨을 확인했습니다. 코드는 https://github.com/transcend-0/TradeGrad 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.