arXiv:2609.12035v3 cs.AI

심장 전체 읽기: 다중모달 심장 표현 학습을 위한 잠재 어텐션 마스크 오토인코더

Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning

Andrea Agostini, Simon Böhi, Moritz Vandenhirtz, Samuel Ruiperez-Campillo, Max Krähenmann, Silke Mühlstedt, Irene Cannistraci, Ece Özkan Elsen, Julia E. Vogt, Thomas M. Sutter

제출 2026-09-10

한국어 초록

심혈관 질환의 진단과 치료는 심전도(electrocardiogram), 심초음파(echocardiography), 흉부 X선(chest X-rays)과 같이 심장 병태생리의 서로 다르지만 상호보완적인 측면을 포착하는 상호보완적 모달리티들의 통합에 기반합니다. 그러나 대부분의 의료 파운데이션 모델은 여전히 특정 모달리티에 국한되어 있으며, 파인튜닝(fine-tuning)이나 사후 학습(post-training) 단계에서만 모달리티들을 결합합니다. 이는 임상의들이 자연스럽게 통합하는 교차 모달 증거를 버리고 각 모달리티 내부의 구조를 무시합니다. 본 논문에서는 자기지도 사전학습(self-supervised pre-training) 과정에서 환자 수준의 표현을 공동으로 학습하는 다중모달(multimodal) 구조 인식 마스크 오토인코더인 Latent-Attention Masked Autoencoder(LAMAE)를 제안합니다. 사후에 모달리티를 융합하는 대신, LAMAE는 검사-뷰-개체(study-view-entity) 계층 구조에 걸쳐 작동하는 공유 잠재 어텐션(latent-attention) 모듈을 통해 잠재 공간에서 직접 정보를 교환함으로써 다양한 관찰 결과의 집계와 누락된 모달리티 처리를 가능하게 합니다. 50만 건 이상의 MIMIC-IV 입원 기록을 대상으로 사전학습된 LAMAE는 원내 사망률, ICD-10 및 DRG 코딩, 입원 기간과 같은 다중모달 입원 과제 전반에서 모달리티별 사전학습과 강력한 대조 학습 및 비전-언어 베이스라인을 능가하는 동시에, 단일 모달 과제에서도 경쟁력 있는 성능을 유지합니다. 이러한 구조를 모델링하는 것은 단일 모달리티 내에서도 효과를 발휘하여, 교차 모달 정보가 없더라도 잠재 어텐션 모듈은 모달리티별 사전학습 대비 표현력을 향상시킵니다.

원문 초록

Cardiovascular diagnosis and treatment rest on integrating complementary modalities, such as electrocardiogram, echocardiography, and chest X-rays, each capturing distinct but complementary aspects of cardiac pathophysiology. Yet most medical foundation models remain modality-specific, combining modalities only for finetuning or post-training. This discards the cross-modal evidence clinicians naturally integrate and ignores the structure within each modality. We introduce Latent-Attention Masked Autoencoder (LAMAE), a multimodal, structure-aware masked autoencoder that jointly learns patient-level representations during self-supervised pretraining. Instead of fusing modalities post hoc, LAMAE exchanges information directly in the latent space through a shared latent-attention module operating over a study-view-entity hierarchy, enabling aggregation of variable observations and handling of missing modalities. Pretrained on over 500'000 MIMIC-IV hospital stays, LAMAE outperforms modality-specific pretraining and strong contrastive and vision-language baselines across multimodal hospital-stay tasks, such as in-hospital mortality, ICD-10 and DRG coding, and length of stay, while remaining competitive on unimodal tasks. Modeling this structure also pays off within a single modality: even without cross-modal information, the latent-attention module improves representations over modality-specific pretraining.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.12035v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13915v1cs.CV공통 태그 Self-Supervised Learning, Representation Learning, Medical Image Analysis

어디를 볼 것인가가 중요하다: 3D 의료 자기지도학습에서의 서브 볼륨 샘플링 재고

Where to Look Matters: Rethinking Sub-Volume Sampling in 3D Medical Self-supervised Learning

3D 의료 영상에서의 자기지도학습(self-supervised learning)은 일반적으로 사전학습(pre-training) 중 무작위 서브 볼륨(sub-volume) 샘플링에 의존합니다. 그러나 무작위 크롭(random cropping)은 해부학적 사전 지식과 공간적 중복성으로 인해 영역 간 표현 학습(representation learning) 가치가 본질적으로 불균등함에도 불구하고, 모든 공간 영역을 관찰할 가치가 동일한 것으로 암묵적으로 취급합니다. 이를 위해, 본 연구는 먼저 제어된 크롭 품질 조작 실험을 통해 더 나은 서브 볼륨이 더 우수한 다운스트림 전이(transfer)로 이어진다는 점을 보임으로써, 관찰 정책(observation policy)이 3D 의료 SSL에서 간과되어 온 병목 현상임을 밝힙니다. 이러한 발견에 착안하여 서브 볼륨 샘플링을 어디를 볼 것인가(\emph{where-to-look})의 문제로 재검토합니다. 우리는 무작위 크롭을 해부학 인식(\textit{anatomy-awareness}), 정보성(\textit{informativeness}), 다양성(\textit{diversity})에 기반한 오프라인 조-세밀(coarse-to-fine) 프로브 뱅크로 대체하는 플러그 앤 플레이 프레임워크인 \textbf{\method}를 제안합니다. 경량 볼륨 내재적 사전 지식만으로 충분한지, 혹은 더 풍부한 의미론적 단서가 신뢰할 수 있는 추가적인 가치를 제공하는지 검증하기 위해 기하학적 및 영상 통계적 단서를 활용하는 경량 변형인 \lite와 고정된 시각적 특징을 활용하는 진단 변형인 \feat로 \method를 구현합니다. 여러 3D 의료 SSL 백본 및 다운스트림 태스크에 걸친 광범위한 실험을 통해, \method-\lite가 무작위 샘플링 대비 전이 성능을 일관되게 향상시킴을 입증합니다. 나아가 메커니즘 분석을 통해 이러한 이득이 해부학적으로 더 타당하고 정보성이 높은 관찰, 감소된 공간적 중복성, 더 효율적인 학습 역학(learning dynamics), 그리고 더 구조화된 표현에 기인함을 밝힙니다.

arXiv:2609.35943v2cs.CV공통 태그 Self-Supervised Learning, Representation Learning, Medical Image Analysis

HERO: 종양학 분야의 강건한 표현 학습을 위한 조직병리학 인코더

HERO: Histology Encoder for Robust Representation in Oncology

대규모 병리학 이미지 말뭉치로 학습된 파운데이션 모델(foundation model)은 이제 전산병리학(computational pathology)을 위한 강력하고 전이 가능한 표현을 제공합니다. 지난 몇 년간 이러한 모델들이 잇달아 공개되었으며, 각 모델은 이전 모델보다 더 많은 슬라이드로 학습되었습니다. 표준 분류 및 분할(segmentation) 벤치마크에서 선도적인 모델들 간의 격차는 이제 매우 미미한 수준입니다. 그러나 임상 현장에서는 파운데이션 모델이 학습 데이터에 포함되지 않은 병원, 스캐너 및 염색 프로토콜에서 생성된 이미지에 적용됩니다. 인코더는 일반적으로 생물학적 정보와 함께 이러한 획득 요인(acquisition factor)들을 함께 임베딩하며, 이는 다운스트림 오류를 유발하고 안전한 임상 도입을 저해할 수 있습니다. 따라서 병리학 파운데이션 모델은 표현 품질을 유지하면서도 데이터 획득 변화(acquisition shift)에 강건해야 하지만, 강건성은 모델 간 비교에서 거의 고려되지 않는 기준이었습니다. 본 보고서에서는 DINO 및 iBOT 목표로 학습되고, 약 575,000개의 임상 전체 슬라이드 이미지(WSI)에서 추출한 형태학적으로 균형 잡힌 5억 개의 타일 말뭉치에서 고해상도 그람 앵커링(Gram anchoring)으로 정제된 ViT-G/14 병리학 파운데이션 모델인 HERO(Histology Encoder for Robust Representation in Oncology)를 소개합니다. 평가된 공개 벤치마크 전반에서 HERO는 비교된 최고 수준(state-of-the-art)의 파운데이션 모델 중 기관, 스캐너 및 염색 변화에 대해 가장 강력한 강건성을 보였습니다. 또한 타일 수준의 분류, 분할 및 유전자 발현 예측에서 필적하는 성능을 달성했으며, 평가된 39개 슬라이드 수준 임상 작업 전반에서 평균 1위를 기록했고, 동일 가중치 프레임워크 수준 분석에서도 6개 벤치마크 프레임워크 전반에 걸쳐 가장 우수한 평균 순위를 기록했습니다.

arXiv:2610.02114v1cs.CV공통 태그 Self-Supervised Learning, Representation Learning, Medical Image Analysis

유전적 발견을 위한 뇌 MRI의 표면-볼륨 자기지도 표현 학습

Surface-volume self-supervised representation learning of brain MRI for genetic discovery

뇌 영상에 대한 기존 전장 유전체 연관성 분석(GWAS)은 사전에 정의되었거나 딥러닝으로 도출된 영상 표현형을 제공하지만, 이러한 표현형은 볼륨(volumetric) 스캔 또는 대뇌 피질 표면 메시(cortical surface mesh) 중 하나에서만 추출되므로 각각 뇌 해부학적 구조의 유전적 변이 중 일부만을 포착합니다. 본 연구에서는 복셀 수준의 이미지 강도와 각 표면 정점(vertex)에서의 곡률 및 피질 두께를 포함한 피질 메시 기하학적 정보를 하나의 공유된 영상 특징 세트로 함께 인코딩하는 자기지도(self-supervised) 프레임워크인 MEVA(Mesh-Enhanced Volumetric Autoencoder)를 소개합니다. MEVA에서 메시와 볼륨 입력을 결합하면 두 입력 중 하나만 사용하는 모델에 비해 연령 및 성별 예측에서 소폭의 성능 향상을 얻을 수 있습니다. 이러한 특징들을 UK 바이오뱅크(UK Biobank)의 GWAS 표현형으로 활용했을 때, 볼륨만으로 학습된 특징이나 메시만으로 학습된 특징보다 더 많은 전장 유전체 유의 수준(genome-wide significant) 유전자 좌(loci)를 발견했습니다. 이러한 결과는 볼륨 기반 자기지도 학습에 대뇌 피질 표면 기하학을 추가함으로써 추가적인 유전적 변이를 포착하고 이를 통해 검출되는 유전자 좌의 수를 증가시킬 수 있음을 시사합니다.

arXiv:2609.27710v3cs.CV공통 태그 Representation Learning, Medical Image Analysis

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.