PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02718v1cs.CV

커널 정준 상관 분석을 통한 VLM의 시각적 표현 강화 재고

Revisiting Visual Representation Enhancement of VLMs via Kernel Canonical Correlation Analysis

CLIP과 같은 비전-언어 모델(VLM)은 강력한 의미론적 일반화 성능을 보이지만, 세밀한 시각적 인지 능력에서는 여전히 한계를 갖습니다. 최근 연구인 KUEA는 비전 중심 모델인 DINOv2의 지도 하에 이미지 인코더를 파인튜닝하여 커널 행렬을 원소별로 정렬하는 동시에, CLIP의 이미지-텍스트 의미론을 보존하기 위해 임베딩이 사전학습된 시각 인코더와 가깝게 유지되도록 정규화하는 자연스러운 해결책을 제시했습니다. 그러나 본 연구에서는 DINOv2와의 정렬 손실 역할을 줄이더라도 세밀한 시각적 성능이 반드시 저하되지는 않음을 보여주며, 이는 커널 행렬 불일치가 추가적인 시각적 표현 강화를 유도하기에 불충분할 수 있음을 시사하여 정렬 수식을 재검토하도록 이끌었습니다. 본 연구에서는 투영 상관관계를 극대화하는 커널 정준 상관 분석(KCCA)을 통해 특징 부분공간에서의 표현 정렬을 특성화하는 새로운 관점을 제시합니다. 최적화 과정에서는 KKT 조건을 바탕으로 효율적인 엔드투엔드 학습 기법을 도출하여 KCCA의 고유값 문제를 회피합니다. 나아가 본 방법론을 3가지 뷰 수식인 3vKCCA로 확장하여, 사전학습된 텍스트 인코더의 투영 역시 결합 정렬을 위한 통합 최적화 프레임워크에 포함합니다. ImageNet-1K 기반 CLIP ViT-L/14 실험에서 3vKCCA는 MMVP-VLM 정확도를 17.8에서 25.9로 향상시켜 기존 방법들을 크게 능가하는 동시에 제로샷 이미지-텍스트 검색 성능을 유지합니다.