arXiv:2606.28798v2 cs.AI

고정 대규모 언어 모델을 활용한 데이터 융합 및 예측를 위한 일반 다중모달 프로bing 프레임워크: 다중모달 EHR 데이터에 대한 근거

A General Multimodal Probing Framework for Data Fusion and Prediction with Frozen Large Language Models: Evidence from Multimodal EHR Data

Chengyuan Liu, Xinyue Zhang, Yao Li, Guanting Chen

제출 2026-06-27

한국어 초록

본 논문의 주요 목표는 의료 도메인에서 서로 다른 출처의 다중모달 데이터에 기반한 예측를 위한 일반 프레임워크를 제안하는 것이다. 우리는 고정(frozen) 의료 대규모 언어 모델(LLM) 표현이 다중모달 1차 진단 범주 예측을 위한 공유 임베딩 공간으로 기능할 수 있는지 평가했다. 구조화된 전자건강기록(EHR) 변수와 정보 누출(leakage)을 제거한 퇴원 기록(discharge-note) 구간을 직렬화하여 공유 고정-LLM 표현 공간에 매핑하고, LLM을 미세조정하지 않고 선형 프로be(linear probe)로 1차 진단 범주를 복원하는 백본 유연(backbone-flexible) 프로bing 프레임워크를 제안한다. 13,645건의 입원(7개 진단 범주)으로 구성된 MIMIC-IV 코호트에서, 일치된 분할 및 컨텍스트 예산 하에서 XGBoost 및 세 가지 텍스트 베이스라인(CAML, LAAT, PLM-ICD)과 비교하여 서로 다른 모달리티 입력(구조화만, 비구조화만, 결합)에 대해 트랜스포머 층 및 여섯 개의 고정 백본 전반에서 프로bing을 수행했으며, MIMIC-III에서 데이터셋 간 견고성도 검증했다. 결합(Combined) 최종 층 프로be는 MIMIC-IV에서 top-1 정확도 88.86%를 달성하여 CAML 및 PLM-ICD를 유의하게 능가했고 LAAT와는 통계적으로 동등했다. 결합 정확도는 여섯 백본에서 87.69%에서 89.25% 범위였다. MIMIC-III에서는 도메인 내 결합 프로bing이 74.18% 정확도에 도달하여 세 베이스라인을 모두 유의하게 초과했으며, 전이 학습(transfer-learning) 테스트에서 MIMIC-IV 고정 표현 위 280만 매개변수 어댑터가 92.51% 정확도에 도달하여 적응(adapted) LAAT(85.54%)를 능가했다. 고정 LLM 임베딩은 구조화 정보와 서술형 EHR 정보를 통합한다. 결합 구성은 모든 설정에서 가장 강했으며, 그 표현은 소형 어댑터를 통해 데이터셋 간 전이되었다. 고정 LLM 표현에 대한 다중모달 프로bing은 EHR 모달리티를 연구하고 임상 표현을 데이터셋 간 적응하는 실용적이고 백본 유연한 접근을 제공한다.

원문 초록

The main objective of this paper is to propose a general framework for prediction based on different sources of multimodal data in the healthcare domain. We evaluated whether frozen medical large language model (LLM) representations can serve as a shared embedding space for multimodal primary diagnosis category prediction. We propose a backbone-flexible probing framework that serializes structured electronic health record (EHR) variables and leakage-pruned discharge-note sections into a shared frozen-LLM representation space and recovers primary diagnosis categories with linear probes, without fine-tuning the LLM. On a MIMIC-IV cohort of 13,645 admissions (seven diagnosis categories), we probed inputs of different modalities (Structured-only, Unstructured-only, and Combined) across transformer layers and six frozen backbones, compared against XGBoost and three text baselines (CAML, LAAT, PLM-ICD) under a matched split and context budget, and tested robustness across datasets on MIMIC-III. The Combined terminal-layer probe reached 88.86% top-1 accuracy on MIMIC-IV, significantly outperforming CAML and PLM-ICD and statistically comparable to LAAT; Combined accuracy ranged from 87.69% to 89.25% across six backbones. On MIMIC-III, in-domain Combined probing reached 74.18% accuracy and significantly exceeded all three baselines, and in a transfer-learning test a 2.8M-parameter adapter on frozen MIMIC-IV representations reached 92.51% accuracy, exceeding adapted LAAT (85.54%). Frozen LLM embeddings unify structured and narrative EHR information: the Combined configuration was strongest in every setting, and its representations transferred across datasets through a compact adapter. Multimodal probing of frozen LLM representations provides a practical, backbone-flexible approach for studying EHR modalities and adapting clinical representations across datasets.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.28798v2제출 시각 미확인
  2. arXiv:2606.28798v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13390v1cs.LG공통 태그 Representation Learning, Transfer Learning

PlacePulse: 구조적 지리 데이터로부터 전이 가능한 장소 표현 학습

PlacePulse: Learning Transferable Place Representations from Structural Geographic Data

지리공간(geospatial) 머신러닝은 흔히 사회인구학적(sociodemographic), 비즈니스, 환경 변수들의 대규모 집합에 대한 과업별 특징(feature) 엔지니어링에 의존한다. 지리공간 파운데이션 모델(foundation model)은 재사용 가능한 장소 표현을 제공하지만, 주요 접근법들은 보통 이동성(mobility)과 검색 활동 같은 동적 신호, 또는 위성 이미지로부터의 시각적 신호를 인코딩한다. 장소의 정적인 구조적 구성(그곳에 누가 거주하고 일하는지, 어떤 비즈니스가 운영되는지, 어떤 위험에 노출되어 있는지)을 세밀한 공간 해상도에서 전이 가능한 임베딩(embedding)으로 나타내는 모델은 드물다. 우리는 572개의 속성을 H3 인접 지역 집계를 통해 2,288개의 입력으로 확장한 뒤, 미국 내 1,055,537개의 H3 해상도-7 셀에 대해 256차원의 단위 노름(unit-norm) 임베딩으로 압축하는 구조적 지리공간 파운데이션 모델인 PlacePulse를 소개한다. 또한 우리는 여러 타깃과 공간 지원(spatial support)에 걸쳐 내재적 표현 품질과 다운스트림 예측 유용성을 분리하는 재사용 가능한 이축(two-axis) 벤치마크를 소개한다. 내재적으로, 이 임베딩은 평균 $R^2 = 0.853$으로 표준화된 입력을 재구성하며, 256개 중 251개의 거의 비상관화된(decorrelated) 차원을 사용하고, 선행 주성분(leading principal component)에서 Moran's $I = 0.93$을 보이는 등 강한 공간적 구조를 나타내며 자기상관(autocorrelation)이 입력 반경을 넘어서도 지속된다. 외재적으로, 12개의 외부 소스와 네 가지 공간 지원으로부터 얻은 74개의 홀드아웃(held-out) 타깃에 걸쳐, PlacePulse는 학습 입력과 무관한 타깃들에서 차원수를 맞춘 특징 선택 기준선(feature-selection baseline)을 능가하며, Google의 Population Dynamics Foundation Model과 경쟁력이 있고, 건강, 경제, 선거, 경제적 이동성(economic mobility), 사회적 취약성(social vulnerability) 결과에서는 우위를 보이는데, 이러한 상대적 강점은 도메인에 따라 다르게 나타난다. 이러한 결과는 구조적 구성을 행동 데이터나 이미지 데이터가 없을 때의 단순한 대체재가 아니라, 지리공간 파운데이션 모델을 위한 독자적이고 상호 보완적인 모달리티(modality)로 자리매김한다.

arXiv:2610.13435v1cs.LG공통 태그 Representation Learning, Transfer Learning

PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크

PPG-Bench: A Unified Benchmark for PPG Foundation Models

광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.

arXiv:2610.13578v1cs.RO공통 태그 Representation Learning, Transfer Learning

RARA: 로봇 조작을 위한 검색 고정 표상 정렬 기반의 강건한 정책 미세조정

RARA: Robust Policy Fine-Tuning through Retrieval-Anchored Representation Alignment for Robotic Manipulation

비전-언어-행동(VLA, Vision-Language-Action) 모델과 같은 사전학습된 로봇 정책은 범용 로봇 조작을 위한 강력한 기반을 제공하지만, 소수의 시연(demonstration)만으로 이를 새로운 태스크에 적응시키는 것은 여전히 어렵습니다. 사전학습된 정책을 직접 미세조정(fine-tuning)하면 대개 강력한 분포 내(in-distribution) 성능을 달성할 수 있지만, 사전학습 중에 학습된 표상을 왜곡하여 분포 외(out-of-distribution) 변화에 대한 모델의 일반화 능력을 약화시킬 수 있습니다. 우리는 이러한 문제를 해결하기 위해 2단계 적응 방식인 검색 고정 표상 정렬(RARA, Retrieval-Anchored Representation Alignment)을 제안합니다. 첫째, RARA는 유사한 태스크 의도 및 동작을 가진 사전학습 시기의 표상 특징을 검색하고, 타깃 시연에 대한 정책의 표상을 검색된 시연의 사전학습된 표상과 정렬합니다. 둘째, RARA는 미세조정 과정에서 검색된 시연에 대한 정책 표상이 변화하는 정도를 제한하면서 타깃 시연에 대해 정책을 미세조정합니다. 행동 학습 전 표상 불일치를 줄이고 적응 과정에서 사전학습된 지식을 보존함으로써, RARA는 미세조정 중 불필요한 표상 표류(representation drift)를 제한합니다. RoboTwin, RoboCasa의 13개 태스크 및 실제 로봇에서 Diffusion Policy와 GR00T를 사용해 진행한 실험 결과, RARA는 미세조정의 평균 성공률을 분포 내에서 9.5%p, 분포 외에서 13.6%p 향상시켰으며 비교 대상이 된 모든 베이스라인을 능가함을 보여줍니다. 프로젝트 페이지: https://shua-kang.github.io/RARA_robot/

arXiv:2610.13599v1cs.LG공통 태그 Representation Learning, Diagnostic

EchoTab: 정형 데이터 재구성을 통한 심초음파 진단용 측정 기반 표현 학습

EchoTab: Learning Measurement-Grounded Representations for Echocardiographic Diagnosis through Tabular Reconstruction

심초음파와 같은 다중 뷰(multi-view) 의료 영상 검사에서 진단 정보는 여러 뷰에 분산되어 있으며, 각 뷰는 심장 구조와 기능의 서로 다른 측면을 포착합니다. 임상 현장에서는 이러한 뷰들을 먼저 정량적 측정을 통해 해석한 후, 이를 바탕으로 구체적인 진단을 내립니다. 그러나 기존의 심초음파 표현 학습 방법들은 뷰와 진단 사이의 중간 표현으로서 측정을 명시적으로 모델링하지 않습니다. 그 결과 개별 측정이 다운스트림 진단 태스크에서 선택적으로 활용할 수 있는 형태로 명시적 표현되지 않아 정확한 진단을 저해합니다. 이러한 계층적 임상 워크플로우에서 착안하여, 본 논문에서는 심초음파 뷰와 진단 사이의 중간 표현으로 측정별 토큰(measurement-specific token)을 활용해 다중 뷰 심초음파 검사를 표현하는 측정 기반(measurement-grounded) 표현 학습 프레임워크인 EchoTab을 제안합니다. 각 측정 토큰은 추정에 관련된 뷰에 선택적으로 어텐션(attention)하며, 해당 측정값을 예측하도록 정형 데이터 재구성(tabular reconstruction)을 통해 학습됩니다. 이렇게 도출된 토큰들은 임상적으로 유의미한 구조적 및 기능적 특성을 인코딩하는 요인화된(factorized) 심초음파 표현을 형성하여 다운스트림 진단에 선택적으로 활용될 수 있습니다. 흔히 사용되는 대조 학습 접근법과 달리 EchoTab은 네거티브 샘플이나 큰 배치(batch) 크기를 필요로 하지 않습니다. 두 가지 데이터셋에 대한 실험을 통해 EchoTab이 다중 뷰 심초음파에서 진단 분류(classification) 성능을 향상시키는 효과적인 측정 기반 표현을 학습하며, 학습된 어텐션이 심장 전문의가 사용하는 기존의 측정-뷰 관계와 일치함을 입증합니다. 코드는 https://github.com/michelleespranita/EchoTab 에서 확인할 수 있습니다.

arXiv:2610.13915v1cs.CV공통 태그 Representation Learning, Transfer Learning

어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고

Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning

3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.

arXiv:2610.03827v2cs.CL공통 태그 Representation Learning, Transfer Learning

점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이

The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer

유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.