arXiv:2208.02529

Metadata-enhanced contrastive learning from retinal optical coherence tomography images

Robbie Holland, Oliver Leingang, Hrvoje Bogunović, Sophie Riedl, Lars Fritsche, Toby Prevost, Hendrik P. N. Scholl, Ursula Schmidt-Erfurth, Sobha Sivaprasad, Andrew J. Lotery, Daniel Rueckert, Martin J. Menten

제출 2022-08-04

원문 초록

Deep learning has potential to automate screening, monitoring and grading of disease in medical images. Pretraining with contrastive learning enables models to extract robust and generalisable features from natural image datasets, facilitating label-efficient downstream image analysis. However, the direct application of conventional contrastive methods to medical datasets introduces two domain-specific issues. Firstly, several image transformations which have been shown to be crucial for effective contrastive learning do not translate from the natural image to the medical image domain. Secondly, the assumption made by conventional methods, that any two images are dissimilar, is systematically misleading in medical datasets depicting the same anatomy and disease. This is exacerbated in longitudinal image datasets that repeatedly image the same patient cohort to monitor their disease progression over time. In this paper we tackle these issues by extending conventional contrastive frameworks with a novel metadata-enhanced strategy. Our approach employs widely available patient metadata to approximate the true set of inter-image contrastive relationships. To this end we employ records for patient identity, eye position (i.e. left or right) and time series information. In experiments using two large longitudinal datasets containing 170,427 retinal OCT images of 7,912 patients with age-related macular degeneration (AMD), we evaluate the utility of using metadata to incorporate the temporal dynamics of disease progression into pretraining. Our metadata-enhanced approach outperforms both standard contrastive methods and a retinal image foundation model in five out of six image-level downstream tasks related to AMD. Due to its modularity, our method can be quickly and cost-effectively tested to establish the potential benefits of including available metadata in contrastive pretraining.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28199v1cs.LG공통 태그 Time Series Analysis, Contrastive Learning

종단적 혈당 표현을 위한 전이 가능한 근거 재구성

Transferable Evidence Reconstruction for Longitudinal Glucose Representations

긴 생체 신호 기록에는 일상적인 측정값이 다수 포함되어 있지만, 예측 정보는 희귀 사건, 지속적인 부담, 반복적인 시계열 패턴에 집중되어 있는 경우가 많습니다. 마스크드 오토인코딩(masked autoencoding)은 측정값을 복원하고, 대조 학습(contrastive learning)은 뷰(view)를 정렬합니다. 본 연구에서는 구조화된 신호 근거를 명시적으로 우선시하는 자기지도학습(self-supervision)을 연구합니다. 저자들은 레이블이 지정되지 않은 기록에서 근거를 구축하고, 한 기록 그룹에 새로운 저용량 리더(reader)를 적합(fit)시킨 뒤, 해당 리더가 재적합 없이 다른 그룹에서도 동일한 근거를 복원하도록 요구하는 전이 가능한 근거 재구성(transferable evidence reconstruction, TER)을 도입합니다. 이러한 교차 그룹 테스트를 통해 역전파 미분을 수행함으로써 전이 가능한 근거 디코딩 규칙을 갖는 표현을 학습하며, 이때 근거는 자기지도학습을 유도하지만 다운스트림 특징(feature)으로는 사용되지 않습니다. 연속 혈당 측정(CGM)을 위해 관측 인지 일간 인코더와 시계 인지 다일 메모리는 최대 7일간의 기록을 정리하면서 혈당 수치 및 변화를 기록된 시간과 결합합니다. 14개 작업으로 구성된 리더보드에서 TER은 기존 최강 모델의 전반적인 PR-AUC/ROC-AUC/Macro-F1 점수를 각각 5.51/4.43/2.80%포인트 향상시키고 12/14개 작업에서 최고 지표를 경신했습니다. 이러한 리더보드 성능 향상은 상위 두 베이스라인 간 격차의 각각 2.0~2.9배에 달합니다. 공개 사전학습(pre-training) 데이터, 폴드, 선형 프로브(linear probe) 조건을 일치시켰을 때, TER은 저자들이 재현한 GlucoFM 대비 6.09/5.52/2.72포인트 더 우수한 성능을 보였습니다. 타깃 리더 소거 연구(ablation), 동일 이력 대조군, 교차 개인 판독 실험은 구조화된 근거, 교차 그룹 리더 적합, 학습된 다일 정리의 결합을 뒷받침합니다.

arXiv:2607.21384v1cs.AI공통 태그 Time Series Analysis, Contrastive Learning

일반화 가능한 EEG 표현 학습을 위한 멀티모달 사전학습

Multimodal Pretraining for Generalizable EEG Representation Learning

간질(epilepsy)에 사용되는 뇌전도(EEG) 모델은 특정 데이터셋과 태스크에 한정되는 경우가 많다. 이러한 제한적 접근은 서로 다른 데이터셋이나 다양한 상황에 모델을 적용하기 어렵게 만들 수 있다. 그러나 파운데이션 모델(foundation model)과 자기지도 학습(self-supervised learning)에 관한 최근 연구들은, 적응 가능한 EEG 백본(backbone)이 다양한 EEG 관련 태스크를 지원할 수 있음을 시사한다. 본 연구에서는 Mamba 아키텍처 기반의 원시 신호 인코더, 시-주파수(time-frequency) 데이터용 Vision Transformer(ViT) 스타일 인코더, 텍스트용 경량 인코더를 공유 임베딩 공간 내에서 결합한 멀티모달 EEG 파운데이션 모델을 개발했다. 사전학습 과정은 마스크드 모델링(masked modeling), 교차 뷰(cross-view) 대조 정렬(contrastive alignment), 시간적 일관성 손실(temporal consistency loss) 등 여러 혁신적 기법에 기반한다. 이러한 방법들은 레이블 데이터 없이 풍부하고 발작(seizure) 관련 표현을 생성하도록 설계되었다. 사전학습된 모델의 효과와 일반화 성능을 평가하기 위해 표준 CHB-MIT 발작 검출 벤치마크와 추가 발작 검출 데이터셋에서 파인튜닝(fine-tuning)을 수행하고, 다양한 모델 변형을 비교하는 광범위한 실험을 진행했다. 표준 CHB-MIT 분할(split)에서 최고의 단일 모델은 AUROC 0.874를, 앙상블 변형은 AUROC 0.878을 달성하여 이 벤치마크에서 최첨단(state-of-the-art) 성능을 나타냈다. 표준 train-test 분할 외에도, 기존 EEG 발작 모델링 연구에서 드물게 보고되는 leave-one-subject-out(LOSO) 프로토콜 하에서 성능을 평가했으며, 이는 환자 독립적(patient-independent) 발작 검출의 어려움을 부각한다. 19명의 피험자에 걸친 평균 LOSO 균형 정확도(balanced accuracy)는 0.558이었다. 데이터셋과 평가 설정 전반에 걸쳐, 우리의 멀티모달 파운데이션 모델은 견고한 발작 검출과 새로운 발작 검출 시나리오로의 간편한 적응을 가능하게 했으며, 해석 가능한 발작 국소화(seizure localization)도 지원했다.

arXiv:2607.13892v1cs.CV공통 태그 Anatomy, Contrastive Learning

장기 조건 패턴 토큰을 활용한 CT 이해를 위한 세밀한 비전-언어 사전학습

Fine-Grained Vision-Language Pretraining with Organ-Conditioned Pattern Tokens for CT Understanding

페어링된 볼륨과 방사선학 보고서로부터 수행하는 컴퓨트 토모그래피(CT) 비전-언어 사전학습은 확장 가능하면서도 어려운 과제이다. 기존 방법들은 일반적으로 전역 스캔-보고서 대비(global scan-report contrast)를 채택하는데, 이는 확장 가능하지만 이질적인 장기 증거를 모호하게 만든다. 한편, 직접적인 장기 수준 정렬(alignment)은 동일한 해부 구조가 여러 가지 서로 다른 방사선학적 양상을 보일 수 있기 때문에 여전히 거칠다. 따라서 사전학습에는 더 세밀한 정렬 단위, 즉 장기 조건 방사선학 패턴(organ-conditioned radiological pattern)이 필요하다. 본 연구에서는 CT 비전-언어 사전학습을 위한 장기 조건 패턴 토큰 정렬 프레임워크인 OCP-CT를 제안한다. 구체적으로, OCP-CT는 안정적인 전역 CT-보고서 대조(contrastive) 분기를 유지하고 장기 패턴 인터페이스를 도입한다. 희소 전문가 혼합(MoE)이 잠재 방사선학 패턴에 따라 이미지 및 텍스트 토큰을 라우팅하고, 학습 가능한 슬롯(slot)이 라우팅된 토큰을 연속 패턴 토큰으로 쿼리하며, 페어링된 토큰 대조가 보고서에서 유래한 임상 유사도로 구성된 구조화된 소프트 타깃(soft targets)과 함께 이미지-텍스트 패턴 토큰을 정렬한다. 공개된 CT-RATE 및 RAD-ChestCT 벤치마크에서 OCP-CT는 제로샷(zero-shot) 이상 진단에 대해 각각 평균 AUROC 84.5% 및 69.9%를 달성한다. 가장 강력하게 보고된 기존 결과와 비교할 때, 이러한 결과는 절대 AUROC 향상 6.7 및 0.8퍼센트포인트를 제공한다.

arXiv:2609.27901v2cs.CV공통 태그 Anatomy

모든 모달리티는 동등하지만, 비디오는 더 동등하다: 공동 비디오 생성에서 크로스-어텐션 격차 줄이기

All modalities are equal, but video is more equal: Closing the Cross-Attention Gap in Joint Video Generation

비디오는 외형, 기하학, 모션, 시간적 변화를 포착하여 물리적 사건을 풍부하게 표현합니다. 3D 신체 모션이나 오디오와 같은 다른 모달리티(modality)는 동일한 사건의 더 좁은 측면만을 인코딩합니다. 본 연구에서는 공동 멀티모달 확산 트랜스포머(joint multimodal diffusion transformer)가 교차 모달 대응(cross-modal correspondence)에서 그에 상응하는 비대칭성을 보임을 발견했습니다. 즉, 동반 모달리티는 비디오에 대해 강한 대응성을 형성하지만, 이들이 비디오를 제약하는 상호 대응성(reciprocal correspondence)은 실질적으로 훨씬 약하게 유지됩니다. 저자들은 두 방향을 비디오 토큰(token)에 대한 비교 가능한 대응 분포로 표현하고, 이들의 불일치를 상호 대응 격차(reciprocal correspondence gap)로 정의합니다. 또한 상호 교차 모달 어텐션 정규화(Reciprocal Cross-modal Attention Regularization)를 뜻하는 RecCAR를 제안합니다. 이는 이미 잘 확립된 비디오-모달리티 간 대응을 고정된 참조 기준으로 삼고, 더 취약한 모달리티-비디오 간 대응을 이에 맞춰 정렬하는 KL 정규화(regularizer) 기법입니다. 공동 비디오-모션 및 비디오-오디오 생성 전반에 걸쳐, RecCAR는 전반적인 생성을 개선하면서도 Human Anatomy 점수를 0.69에서 0.75로 향상시키고 오디오-비디오 비동기화(desynchronization)를 0.804에서 0.752로 감소시킵니다

arXiv:2610.10850v2cs.LG공통 태그 Time Series Analysis

유사한 예측 적합도와 상이한 잠재 동역학: 뇌 질환 맞춤형 모델에서 학습된 동역학적 구조 특성화

Similar Predictive Fit but Different Latent Dynamics: Characterizing Learned Dynamical Structure in Personalized Models of Brain Disorders

AI 모델이 임상 의사결정 및 맞춤형 치료로 나아감에 따라, 모델이 무엇을 학습하는지 이해하는 것은 단순한 예측 정확도를 넘어 매우 중요합니다. 본 연구에서는 예측 적합도가 유사하더라도 개인화된 잠재 동역학(latent dynamics)이 임상적으로 연관된 차이를 드러내는지 조사합니다. Temple University EEG Corpus(TUEG)로 사전학습된 경량 CNN-트랜스포머(Transformer) 뇌파(EEG) 파운데이션 모델을 사용하여 세그먼트 수준의 표현을 추출합니다. Temple University Epilepsy Corpus(TUEP)를 활용하여 표현들을 공유 잠재 상태 공간으로 매핑하고, 각 피험자에게 독립적으로 희소 다항 로지스틱 전이 분포(mLTD)를 적합하여 개인화된 전이 의존성 그래프 $W_n$을 얻습니다. 분석 대상은 $n{=}198$명의 피험자(뇌전증 99명 / 비뇌전증 99명)입니다. $k{=}4$에서 뇌전증 피험자는 훨씬 더 조밀한 학습된 의존성 구조를 나타내며($p{=}1.1\times10^{-7}$), $k{=}6$에서도 동일한 패턴을 보입니다(19.90 대 13.46; $p{=}5.2\times10^{-5}$). 그래프 유래 특징들은 5-겹 피험자별 교차 검증(cross-validation) 하에서 중간 수준의 집단 구별 능력을 제공합니다($k{=}4$에서 AUROC 0.68; $k{=}6$에서 0.65). 대조적으로, 홀드아웃 로그 가능도(log-likelihood)는 $k{=}4$에서 두 집단 간에 거의 동일하며($-0.992$ 대 $-0.991$; $p{=}0.95$), 다음 상태 예측 역시 유사하게 일치합니다(AUROC 0.855 대 0.861; $p{=}0.54$). 따라서 유사한 예측 적합도가 유사한 학습 동역학을 의미하지는 않습니다. 즉, 개인화된 모델이 학습한 내부 동역학 구조에는 상당한 차이가 있더라도, 두 집단은 대등한 수준으로 예측 가능할 수 있습니다. 이러한 차이는 개인화된 임상 모델에서 예측 성능과 함께 학습된 구조를 평가해야 할 필요성을 시사합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.