arXiv:2611.16639v1 cs.LG

분해된 JEPA를 이용한 비대칭 멀티모달 학습

Asymmetric Multimodal Learning with Decomposed JEPAs

Yusuf Shihata

제출 2026-11-12

저자 비고

arXiv Comments

15 pages, 12 tables, 3 figures

한국어 초록

교차 모달 정렬은 멀티모달 표현을 구축하기 위한 표준적인 목적 함수이다. 본 연구는 모달리티가 정보 측면에서 비대칭인 경우, 즉 어느 쪽도 다른 쪽이 담고 있는 정보를 표현할 수 없는 경우에는 정렬을 \emph{유일한} 목적 함수로 사용하면 정보 손실이 발생함을 보인다. 시각적 질의응답이 대표적인 사례이다. 질문은 조밀한 시각 영역을 탐색하는 선택적 관계 연산자이며, 그 시각 영역의 세밀한 특징은 어떤 질의로도 복원되지 않으므로, 정렬이 보존하는 것은 과제가 요구하는 것과 다르다. 우리는 \textbf{정렬 중복성 한계(Alignment Redundancy Bound)}를 증명한다. 정렬만을 이용한 디리클레 에너지 최소화는 기껏해야 중복 정보 원자 $\Red(Z; X_1, X_2)$만을 유지하며, 모달리티 고유의 비공유 구조 $\Unq(Z; X_m)$와 교차 모달 시너지 $\Syn(Z; X_1, X_2)$는 소멸시킨다. 이에 \textbf{분해된 JEPA(Decomposed JEPA, D-JEPA)}를 제안한다. D-JEPA는 잠재 표현을 정렬된 공유 코어와 모달리티 고유의 비공유 파이버로 분해한다. 공유 코어는 정렬이 목표로 하는 구조의 대부분을 유지하고, 비공유 파이버는 문맥적 마스크 예측과 비대칭 교차 부분공간 독립성을 통해 정렬이 버리는 정보를 복원한다. 정보 비대칭 조건에서 정렬만으로 학습한 모델은 구성적 추론 벤치마크에서 치명적인 의미 붕괴를 겪으며, 이진 질의에서만 성능이 유지된다. D-JEPA는 이러한 붕괴를 방지하여 정렬 단독 기준선과 정렬에 복원을 결합한 기준선 모두에 비해 하위 과제 정확도를 크게 향상시키며, 기준선에서 나타난 역전된 격차 대신 양의 멀티모달 시너지 격차를 회복한다. 정보 이론적 감사를 통해 D-JEPA가 고정된 백본에서 얻을 수 있는 상호 정보량의 대부분을 복원함을 확인하였고, 인과적 파이버 교환 개입을 통해 복원된 정보가 비공유 파이버에 인과적으로 국소화되어 있음을 입증하였다.

원문 초록

Cross-modal alignment is the standard objective for building multimodal representations. We show that alignment as a \emph{sole} objective is lossy wherever modalities are informationally asymmetric---where neither can express what the other carries. Visual question answering is an obvious case: a question is a selective relational operator probing a dense visual field whose fine-grained features no query recovers, so what alignment preserves is not what the task requires. We prove an \textbf{Alignment Redundancy Bound}: alignment-only Dirichlet energy minimization retains at most the redundant information atom $\Red(Z; X_1, X_2)$, annihilating private modality-specific structure $\Unq(Z; X_m)$ and cross-modal synergy $\Syn(Z; X_1, X_2)$. We introduce \textbf{Decomposed JEPA (D-JEPA)}, which factorizes latents into an aligned shared core and private modality-specific fibers. The shared core retains most of the structure alignment targets; the private fibers recover what alignment discards, via contextual masked prediction and asymmetric cross-subspace independence. Under information asymmetry, alignment-only training undergoes catastrophic semantic collapse on compositional reasoning benchmarks, surviving only on binary queries. D-JEPA averts this collapse, substantially improving downstream accuracy over both alignment-only and alignment-with-reconstruction baselines, and restoring a positive multimodal synergy gap in place of the baseline's inverted gap. Information-theoretic audits confirm that D-JEPA recovers most of the mutual information available from a frozen backbone, and causal fiber-swap interventions demonstrate that the recovered information is causally localized in the private fibers.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.16639v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.