파편화에서 융합으로: 옴니모달 임베딩에 대한 서베이와 로드맵
From Fragmentation to Fusion: A Survey and Roadmap for Omnimodal Embeddings
한국어 초록
임베딩 모델은 검색 엔진에서 추천 시스템에 이르기까지 사실상 모든 현대 AI 시스템의 기반이 된다. 수학적 기초를 공유함에도 불구하고, 임베딩 모델 연구는 모달리티별로 파편화되어 있으며, 각 커뮤니티가 대체로 고립된 채 발전하여 서로 통찰을 거의 교환하지 않는다. 우리는 이러한 파편화가 더 깊은 수렴을 가리고 있다고 주장한다. 대조 학습, Transformer 아키텍처, 그리고 세분성(granularity)의 전환에 힘입어, 모달리티별 과제는 여전히 충분히 탐구되지 않았음에도 모달리티 전반의 임베딩 연구는 공통된 원칙들로 수렴하고 있다. 이 수렴을 뒤섞지 않고 추론하기 위해, 우리는 점진적으로 어려워지는 세 가지 능력, 즉 포괄성(coverage), 비교 가능성(comparability), 구성성(compositionality)의 틀을 제안한다. 통합으로 향하는 세 가지 경로가 이를 차례로 충족한다. 변환은 포괄성을 넓히고, 정렬은 비교 가능성을 가능하게 하며, 우리가 옹호하는 종착점인 결합 임베딩은 구성성을 목표로 한다. 이 입장 논문은 그 결과로 나타나는 발전 과정을 추적하며, 옴니모달 임베딩 연구에 대한 최초의 통합적이고 분야 횡단적인 논의를 제공한다.
원문 초록
Embedding models underpin virtually every modern AI system, from search engines to recommendation systems. Despite shared mathematical foundations, research on embedding models remains fragmented by modality: the communities develop largely in isolation, seldom exchanging insights. We argue that this fragmentation obscures a deeper convergence. Driven by contrastive learning, Transformer architectures, and a granularity shift, embedding research across modalities is converging toward a common set of principles, even as modality-specific challenges remain underexplored. To reason across this convergence without conflating it, we propose a framework of three progressively harder capabilities: coverage, comparability, and compositionality. Three paths toward unification satisfy these in turn: transformation broadens coverage, alignment enables comparability, and joint embedding, the terminus we advocate, aims at compositionality. This position paper traces the resulting evolution, providing the first unified, cross-cutting treatment of omnimodal embedding research.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.00172v2제출 시각 미확인
- arXiv:2611.00172v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.