arXiv:2605.16834v2 cs.CV

ReLATE: 사후 멀티모달 정렬을 위한 상대 표현 학습

ReLATE: Learning Relative Representations for Post-Hoc Multimodal Alignment

Shiwon Kim, JaeSeong Hong, Yu Rang Park

제출 2026-11-03

한국어 초록

사후(post-hoc) 멀티모달 정렬은 독립적으로 사전 학습된 비전 및 언어 인코더를 고정한 채 서로 연결하며, 쌍 데이터가 부족할 때 공동 사전 학습의 대안이 된다. 핵심적인 설계 과제는 이질적인 특징 공간 전반에서 비교 가능한 표현을 구성하면서, 각 입력 내에서 서로 다른 의미 개념과 관련된 국소 정보를 유지하는 것이다. 우리는 학습 가능한 앵커와 토큰 증거를 이용한 상대 정렬(Relative Alignment with Learnable Anchors and Token Evidence, ReLATE)을 제안하며, 이는 상대 표현을 공동으로 정의하고 각 상대 좌표에 대한 토큰의 기여도를 결정하는 모달리티별 앵커를 학습한다. 이미지 패치와 텍스트 토큰은 각자의 고정된 특징 공간 내에서 앵커와의 유사도로 표현된다. 그런 다음 앵커별 유사도 풀링(ASP)이 앵커마다 별도로 이러한 유사도에 가중치를 부여하고 집계하여 해당 상대 좌표를 구성한다. 샘플 수준의 대칭 대조 목적함수는 인코더를 업데이트하지 않고 앵커만 최적화하여 결과로 얻은 이미지와 텍스트 표현을 정렬한다. 네 가지 비전-언어 과제에 걸친 13개의 일반 도메인 벤치마크 실험에서, 동일한 쌍 데이터 예산 조건에서 비교 대상 사후 정렬 방법들보다 향상된 성능을 보이며, 데이터 규모와 인코더 조합에 따른 추가 평가도 수행한다. 일반 도메인을 넘어, 우리는 특수 도메인 응용으로서 병리학 분야에서 ReLATE를 평가한다. 고정된 병리 이미지 인코더와 생의학 언어 인코더를 정렬함으로써, ReLATE는 세 가지 제로샷 분류 벤치마크에서 균형 정확도 측면에서 평가된 병리 특화 비전-언어 모델과 대등하거나 이를 능가한다.

원문 초록

Post-hoc multimodal alignment connects independently pretrained vision and language encoders while keeping them frozen, offering an alternative to joint pretraining when paired data are scarce. A central design challenge is to construct comparable representations across heterogeneous feature spaces while retaining local information relevant to distinct semantic concepts within each input. We propose Relative Alignment with Learnable Anchors and Token Evidence (ReLATE), which learns modality-specific anchors that jointly define relative representations and determine token contributions to each relative coordinate. Image patches and text tokens are represented by their similarities to anchors within their respective frozen feature spaces. Anchor-wise Similarity Pooling (ASP) then weights and aggregates these similarities separately for each anchor to construct the corresponding relative coordinate. A sample-level symmetric contrastive objective aligns the resulting image and text representations by optimizing only the anchors, without updating the encoders. Experiments on 13 general-domain benchmarks across four vision-language tasks demonstrate improvements over the compared post-hoc alignment methods under matched paired-data budgets, with further evaluations across data scales and encoder combinations. Beyond the general domain, we evaluate ReLATE in pathology as a specialized-domain application. By aligning frozen pathology image and biomedical language encoders, ReLATE matches or exceeds the evaluated pathology-specific vision-language models in balanced accuracy on three zero-shot classification benchmarks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.16834v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.