pyler.tech

이 이메일 도메인이 관측된 논문 1건

arXiv:2608.25575v1cs.CV

MLLMCLIP: 강건한 비전-언어 표현을 위한 MLLM의 특징 수준 지식 증류

MLLMCLIP: Feature-Level Distillation of MLLM for Robust Vision-Language Representations

CLIP과 같은 사전학습 비전-언어 모델은 제로샷(zero-shot) 인식에서 뛰어난 성능을 보이지만, 특히 속성-객체 및 관계 구조와 같은 구성성(compositionality) 처리에는 종종 실패합니다. 최근 연구들은 대규모 언어 모델과 텍스트-투-이미지(text-to-image) 모델의 캐스케이드로 생성된 합성 하드 네거티브(hard negative)로 학습을 증강하여 이 문제를 완화하지만, 이는 상당한 파이프라인 오버헤드를 유발합니다. 대신 본 논문에서는 합성 데이터를 완전히 배제하고 생성형 멀티모달 대규모 언어 모델(MLLM) 교사로부터 판별형 CLIP 학생 모델로 멀티모달 지식을 직접 전달하는 이종 지식 증류(distillation) 프레임워크인 MLLMCLIP을 제안합니다. 두 패러다임 간의 아키텍처 불일치를 해소하기 위해 어텐션(attention) 기반 층별 토큰 선택 기법과 CKA 기반 증류 손실(loss)을 도입합니다. 이전의 CLIP 개선 방법들과 비교하여 MLLMCLIP은 최고 수준의 구성적 정확도를 달성하는 동시에 표준 제로샷 분류 및 이미지-텍스트 검색에서도 일관된 성능 향상을 보이며, 특징 수준의 지식 증류가 구성적 비전-언어 표현 능력과 일반적인 비전-언어 표현 능력을 모두 강화함을 입증합니다.