arXiv:2611.20000v2 cs.CV

모달리티 간 정렬을 좌우하는 요인

What Matters for Cross-Modal Alignment

Yipeng Sun, Jiajun Wang, Siyuan Mei, Yan Xia, Siming Bayer, Vincent Christlein, Andreas Maier

제출 2026-11-17

한국어 초록

플라톤적 표현 가설은 서로 다른 모달리티로 학습한 모델들이 공통된 표현으로 수렴한다고 본다. 관련 연구는 짝지은 데이터 없이 자연 이미지에서 가중치를 고정한 이미지 인코더와 텍스트 인코더를 정렬했다. 본 연구는 자연 이미지, 환경 소리, 흉부 방사선 영상, 3차원 컴퓨터 단층촬영(CT) 등 네 가지 모달리티를 다루는 다섯 데이터셋으로, 데이터 쌍을 전혀 사용하지 않는 정렬을 평가한다. 정렬은 COCO에서만 성공했고 나머지 네 데이터셋에서는 실패했다. 실패를 분석한 결과, 먼저 모달리티가 함께 변하는 부분공간을 찾고 그 안에서 매핑의 방향을 정해야 한다. 선행 연구와 일치하게, 의료 영상의 정렬이 가장 어려웠다. 공유 부분공간이 설명하는 분산의 비율이 가장 낮기 때문이다. 이 비율이 낮으면 정렬에 이미지-텍스트 쌍이 필요하며, 무작위 행렬 이론으로 필요한 쌍의 수를 예측할 수 있다. 이 결과를 바탕으로 LightAlign을 제안한다. 데이터 쌍 몇 개만으로 가중치를 고정한 두 인코더 사이에서 릿지 회귀를 수행하면 매핑의 부분공간과 방향을 함께 찾을 수 있다. 보고서 텍스트로만 학습한 분류기는 이렇게 매핑한 이미지에서 소견을 예측한다. 3차원 CT에서 LightAlign은 소견별 레이블 없이 영상-보고서 쌍으로 종단 간 학습한 모델을 앞섰다. 200쌍만으로 CT-RATE에서 CT-CLIP보다 높은 AUROC를 기록했고(0.754 대 0.733), CT-RATE의 100쌍만으로도 다른 병원에서 수집한 분포 외 데이터셋 RAD-ChestCT에서 CT-CLIP을 앞섰다. CheXpert에서는 MIMIC-CXR로 학습한 모델이 사용한 데이터 쌍의 약 5%만으로 평균 AUROC 0.862를 달성했다.

원문 초록

The Platonic Representation Hypothesis posits that models trained on different modalities converge toward a shared representation. Related work aligns frozen image and text encoders on natural images without paired data. We test zero-pair alignment on five datasets across four modalities: natural images, environmental audio, chest radiographs, and 3D computed tomography (CT). It succeeds only on COCO and fails on the other four. We analyze the failures and find that alignment must first locate the subspace where the modalities co-vary and then orient the mapping within it. Consistent with previous studies, medical imaging is the hardest case: its shared subspace carries the smallest fraction of the variance. When this fraction is small, alignment needs image-text pairs, and random-matrix theory predicts how many pairs are needed. These findings motivate LightAlign: a few pairs let a ridge regression between two frozen encoders locate and orient the mapping simultaneously, and a classifier fitted only on report text then predicts findings from the mapped images. On 3D CT, LightAlign surpasses models trained end to end on image-report pairs without finding-level labels: with only 200 pairs, LightAlign outperforms CT-CLIP on CT-RATE (0.754 vs. 0.733 AUROC), and with only 100 CT-RATE pairs, it does so on RAD-ChestCT, an out-of-distribution dataset from a different hospital. On CheXpert, it reaches 0.862 mean AUROC with only about 5% as many pairs as models trained on MIMIC-CXR.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20000v2제출 시각 미확인
  2. arXiv:2611.20000v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.