PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.08663v2cs.LG

MoEMB: 효율적인 전문가 혼합 모델을 통한 범용 멀티모달 임베딩 확장

MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models

범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)은 복잡성이 높아진 광범위한 태스크와 모달리티를 처리하기 위해 인코더의 용량을 점점 더 많이 요구하고 있습니다. 기존의 스케일링 방법들은 표현(representation) 크기나 검색 비용을 늘리거나, 인코더를 무거운 멀티모달 LLM으로 확장했습니다. Think-Then-Embed(TTE)와 같은 최근 연구들은 추론(reasoning) 토큰을 통한 확장을 탐색하고 있습니다. 그러나 임베딩 모델은 확장이 어렵습니다. 매개변수를 늘리면 대조 학습(contrastive learning)에 필요한 대규모 학습 배치의 크기와 직접적인 트레이드오프가 발생하며, 검색은 엄격한 지연 시간(latency) 내에 제공되어야 하기 때문입니다. 또한, UME 태스크는 복잡성이 다양한데, 임베더를 무작정 확장하면 상당한 중복 연산이 발생할 수 있습니다. 본 연구에서는 전문가 혼합(MoE)을 통해 전문가 축을 따라 UME를 확장하여, 단일 벡터 및 비-자기회귀(non-autoregressive) 인코딩을 유지하면서 인코더 용량을 늘리는 MOEMB를 제안합니다. MoE 기반 UME의 설계 공간과 학습 레시피에 대한 체계적인 연구를 통해, MoEMB는 공개된 MMEB 패밀리 데이터로 학습된 모델 중 MMEB-V2 및 MRMR 모두에서 새로운 SOTA(state of the art)를 달성했습니다. MoEMB는 활성 매개변수가 3B에 불과함에도 활성 매개변수가 4배 이상 많은 TTE 기반 방법들을 훨씬 적은 연산량으로 능가합니다. 확장성과 효율성을 더욱 개선하기 위해, 저자들은 학습 기반 및 추론 전용 방식에 걸친 다양한 전략을 아우르며 MoE 기반 임베딩을 위한 적응형 연산(adaptive computation)에 대한 최초의 종합적인 연구를 수행했습니다. 종합적으로 이러한 결과들은 전문가 확장이 UME를 위한 효과적이고 효율적인 방향임을 뒷받침하며, 적응형 연산은 대규모 검색 및 추천 시스템을 향한 MLLM 기반 임베딩 모델의 효율성을 더욱 향상시킵니다.

arXiv:2610.02148v1cs.CV

Omni-Embed-Mini: 조밀 증류를 통해 망각 없이 모달리티를 결합하기

Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation

텍스트 임베딩 모델을 새로운 모달리티로 확장하는 것은 일반적으로 텍스트 검색 품질을 저하시키며, 기존의 옴니모달(omni-modal) 임베더들은 수십억 개의 매개변수로 이를 보완합니다. 본 논문에서는 텍스트 측 매개변수를 전혀 업데이트하지 않고도 텍스트, 음성, 오디오, 이미지, 비디오, 시각적으로 풍부한 문서를 단일 공유 코사인 공간으로 매핑하는 0.9B 매개변수 모델인 Omni-Embed-Mini를 제시합니다. 우리의 핵심 통찰은 교사 신호에 별도의 임베딩 모델이 필요하지 않다는 점입니다. 즉, 각 미디어 샘플은 조밀한 연쇄 캡션(dense cascaded caption)과 쌍을 이루며, 교사 목표는 동결된 백본 자체의 해당 캡션 임베딩일 뿐입니다. 교사와 학생이 동일한 백본 가중치를 공유하므로 이들은 바이트 단위로 동일한 기하학적 구조를 가지며, 정렬에는 모달리티 인코더의 경량 프로젝터와 단계별 LoRA 어댑터만으로 충분합니다. 학습은 Matryoshka SigLIP 대조 손실과 인코더가 향상됨에 따라 하드 네거티브가 정교해지는 온라인 하이브리드 하드 네거티브 마이너(hard-negative miner)를 결합합니다. 이 레시피는 네이티브 비전-언어 백본으로 교체함으로써 2.3B 변형 모델로도 확장됩니다. Omni-Embed-Mini-0.9B는 백본과 비트 단위로 동일한 텍스트 가중치를 유지하므로 학습으로 인해 텍스트 검색 성능이 저하될 수 없으며(MTEB-v2 BEIR-8에서 49.57 nDCG@10), 동시에 5개의 추가 모달리티로 확장되고 비교 대상인 모든 공개 옴니 임베더보다 약 2.7배에서 9.5배 더 작습니다. 2.3B 변형 모델은 비공개 모델인 gemini-embedding-2와 경쟁력이 있으며, 전체 모달리티 평균에서 이를 근소하게 앞섭니다. 모델, 코드, 데이터 및 평가 하네스는 프로젝트 페이지(https://omniembed.cvmbzuai.com)에서 확인할 수 있습니다.

arXiv:2605.16638v2cs.AI

TTE-Flash: Think-Then-Embed 토큰을 통한 추론 기반 멀티모달 표현 가속

TTE-Flash: Accelerating Reasoning-based Multimodal Representations via Think-Then-Embed Tokens

최근 연구는 범용 멀티모달 임베딩(Universal Multimodal Embedding, UME)이 사고의 연쇄(Chain-of-Thought, CoT) 추론으로부터 크게 이득을 본다는 점을 보여 주었다. 이 패러다임에서 생성 모델은 멀티모달 쿼리에 대한 명시적 추론 trace를 생성하고, 최종 표현은 쿼리와 추론 모두에 attend하는 <eos> 임베딩 토큰에서 추출된다. 효과적임에도 불구하고, 명시적 CoT trace를 생성하는 계산 부담은 종종 과도하다. 본 연구에서는 명시적 CoT를 잠재 think 토큰으로 대체하는 방법을 제안한다. 이 토큰은 관측 변수로서 명시적 CoT trace를 생성할 수 있는 잠재 변수(latent variable)로 해석된다. CoT 생성 손실로 think 토큰을 최적화하고 이어서 대조 손실(contrastive loss)로 임베딩 토큰을 최적화함으로써, 일정한 추론 비용으로 고성능의 추론 인지(reasoning-aware) 표현을 얻는다. 본 연구는 두 가지 핵심 아키텍처 설계를 조사한다: 1) 동일한 LLM 백본에서 think 토큰과 임베딩 토큰을 어떻게 추출할 것인가. 2) 두 토큰을 두 개의 종속 과제(dependent task)로 어떻게 학습할 것인가. 우리는 TTE-Flash-2B를 소개한다. 이는 MMEB-v2 벤치마크에서 명시적 CoT 대응 모델을 능가하는 추론 인지 멀티모달 표현 모델이며, 텍스트와 시각 모두에서 해석 가능한 잠재 think 토큰을 생성한다. 또한 15개 비디오 데이터셋에 걸친 제로샷 평가는 think 토큰 수가 증가할수록 스케일링(scaling) 거동을 보여 준다.

arXiv:2604.22280v3cs.CV

사고의 연쇄(Chain-of-Thought)를 넘어: 생성형 멀티모달 임베딩을 위한 범용 인터페이스로서의 Rewrite

Beyond Chain-of-Thought: Rewrite as a Universal Interface for Generative Multimodal Embeddings

멀티모달 대규모 언어 모델(MLLM)은 범용 멀티모달 임베딩을 위한 유망한 기반으로 떠오르고 있다. 최근 연구들은 추론 기반 생성형 멀티모달 임베딩이 여러 임베딩 태스크에서 판별형(discriminative) 임베딩보다 우수한 성능을 낼 수 있음을 보여주었다. 그러나 사고의 연쇄(Chain-of-Thought, CoT) 추론은 더 넓은 검색 시나리오에서 불필요한 사고 단계를 생성하고, 요약된 답변에 의미적 모호성을 도입하는 경향이 있다. 이 한계를 해결하기 위해, 우리는 검색 친화적 재작성을 통해 생성과 임베딩을 공동으로 최적화하는 통합 프레임워크인 Rewrite-driven Multimodal Embedding(RIME)을 제안한다. 한편, 생성형과 판별형 임베딩 공간을 연결하여 효율성과 정확도 사이의 트레이드오프를 가능하게 하는 유연한 상호 검색을 위해 Cross-Mode Alignment(CMA)를 제시한다. 이를 바탕으로, 판별형 임베딩을 안정적인 의미적 앵커로 간주하여 재작성 최적화를 안내하는 Refine Reinforcement Learning(Refine-RL)도 도입한다. MMEB-V2, MRMR, UVRB에 대한 광범위한 실험은 RIME이 기존 생성형 임베딩 모델을 크게 능가하면서 사고 길이를 현저히 줄인다는 것을 보여준다. 코드는 https://github.com/PeppaWu/RIME 에서 이용할 수 있다.

arXiv:2606.13061v2cs.CV

LaME: 정보 병목을 통한 멀티모달 임베딩을 위한 잠재 공간에서의 사고 학습

LaME: Learning to Think in Latent Space for Multimodal Embedding via Information Bottleneck

추론 기반 범용 멀티모달 임베딩은 임베딩 파이프라인에 사고의 연쇄(Chain-of-Thought, CoT) 추론을 도입하면서 빠르게 발전해 왔다. 일반적·복잡한 작업 모두에서 강한 성능을 보임에도 불구하고, 이 패러다임은 두 가지 핵심 한계를 갖는다: (i) 자기회귀적 CoT 추론은 계산 비용이 높아 저지연 검색에는 비실용적이며; (ii) 임베딩 성능이 CoT 주석 품질에 크게 종속되어 대규모 학습이 신뢰하기 어렵다. 이는 근본적인 질문을 제기한다: 텍스트 기반 CoT가 임베딩을 위한 최적의 추론 형태인가, 그리고 효과적인 임베딩 추론을 잠재 공간에서 수행할 수 있는가? 이를 위해 우리는 LaME(Latent Reasoning Multimodal Embedding)를 제안한다. 이는 임베딩 지향 잠재 추론을 약지도 정보 병목으로 공식화한다. LaME는 K개의 학습 가능한 reason token을 고정 용량 병목으로 사용하여, 모든 추론을 단일 순전파 내에 완료한다. 두 약지도 신호는 대조(contrastive) 목표와 자기회귀(autoregressive) 목표를 구조적으로 분리하고 CoT 주석에 대한 의존성을 제거하며, 2단계 학습 파이프라인은 안정적인 수렴을 보장한다. MMEB-v2 및 MRMR에서의 실험은 LaME가 경쟁력 있는 성능을 달성하고 일부 명시적 CoT 기반 모델을 능가함을 보여준다. 동시에 명시적 CoT 방법 대비 60배 빠른 추론과 잠재 기준선 대비 2배 빠른 처리량을 제공하며, 판별적 임베딩 모델과 유사한 처리량을 달성한다. 코드는 https://github.com/PeppaWu/LaME 에서 제공된다.

arXiv:2602.05275v2cs.CV

Magic-MM-Embedding: Towards Visual-Token-Efficient Universal Multimodal Embedding with MLLMs

비전 토큰(visual token)의 과도한 계산 비용으로 인한 멀티모달 대규모 언어 모델(MLLM) 기반 임베딩의 비효율성을 해결하기 위해, Magic-MM-Embedding은 파라미터 없는 공간 보간(spatial interpolation) 방식으로 시각 토큰을 75% 압축하는 효율적 아키텍처와 3단계 점진적 학습 전략(멀티모달 능력 복원 → 대조 사전학습 → MLLM-as-a-Judge 기반 태스크 특화 파인튜닝)을 결합하여, MMEB 벤치마크에서 기존 방법 대비 추론 효율성과 성능을 동시에 크게 향상시켰다.