arXiv:2608.25575v1 cs.CV

MLLMCLIP: 강건한 비전-언어 표현을 위한 MLLM의 특징 수준 지식 증류

MLLMCLIP: Feature-Level Distillation of MLLM for Robust Vision-Language Representations

Jongsuk Kim, Qiyu Wu, Zhuoyuan Mao, Hiromi Wakaki, Junmo Kim, Yuki Mitsufuji

제출 2026-08-26

한국어 초록

CLIP과 같은 사전학습 비전-언어 모델은 제로샷(zero-shot) 인식에서 뛰어난 성능을 보이지만, 특히 속성-객체 및 관계 구조와 같은 구성성(compositionality) 처리에는 종종 실패합니다. 최근 연구들은 대규모 언어 모델과 텍스트-투-이미지(text-to-image) 모델의 캐스케이드로 생성된 합성 하드 네거티브(hard negative)로 학습을 증강하여 이 문제를 완화하지만, 이는 상당한 파이프라인 오버헤드를 유발합니다. 대신 본 논문에서는 합성 데이터를 완전히 배제하고 생성형 멀티모달 대규모 언어 모델(MLLM) 교사로부터 판별형 CLIP 학생 모델로 멀티모달 지식을 직접 전달하는 이종 지식 증류(distillation) 프레임워크인 MLLMCLIP을 제안합니다. 두 패러다임 간의 아키텍처 불일치를 해소하기 위해 어텐션(attention) 기반 층별 토큰 선택 기법과 CKA 기반 증류 손실(loss)을 도입합니다. 이전의 CLIP 개선 방법들과 비교하여 MLLMCLIP은 최고 수준의 구성적 정확도를 달성하는 동시에 표준 제로샷 분류 및 이미지-텍스트 검색에서도 일관된 성능 향상을 보이며, 특징 수준의 지식 증류가 구성적 비전-언어 표현 능력과 일반적인 비전-언어 표현 능력을 모두 강화함을 입증합니다.

원문 초록

Pretrained vision-language models such as CLIP excel at zero-shot recognition but often fail at compositionality, particularly attribute-object and relational structures. Recent studies mitigate this issue by augmenting training with synthetic hard negatives generated by a cascade of large language models and text-to-image models, which incurs substantial pipeline overhead. We instead propose MLLMCLIP, a heterogeneous distillation framework that transfers multimodal knowledge directly from a generative Multimodal Large Language Model (MLLM) teacher into a discriminative CLIP student, bypassing synthetic data entirely. To bridge the architectural mismatch between the two paradigms, we introduce an attention-based per-layer token selection and a CKA-based distillation loss. Compared to prior CLIP-enhancement methods, MLLMCLIP achieves state-of-the-art compositional accuracy while delivering consistent gains on standard zero-shot classification and image-text retrieval, showing that feature-level distillation strengthens both compositional and general vision-language representation capability.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.25575v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.