arXiv:2609.01103v1 cs.CL

모달리티 갭 감소가 실패할 때: CLIP에서의 예측 수준 허브니스

When Modality Gap Reduction Fails: Prediction-Level Hubness in CLIP

Shota Sato, Hajime Kiyama, Tosho Hirasawa, Mamoru Komachi

제출 2026-09-01

한국어 초록

CLIP에서 이미지와 텍스트 표현 간의 모달리티 갭(modality gap)을 줄이는 것은 일반적으로 교차 모달 정렬(cross-modal alignment) 및 다운스트림 성능을 향상시킬 것으로 기대된다. 그러나 평균 이미지-텍스트 갭이 작아진다고 해서 반드시 일관된 정확도 향상으로 이어지는 것은 아니다. 본 논문에서는 입력 이미지에 대해 가장 유사한 클래스-텍스트 프로토타입을 선택하는 제로샷(zero-shot) 분류(classification)의 결정 구조 관점에서 이러한 불일치를 분석한다. 제로샷 정확도는 평균 이미지-텍스트 정렬뿐만 아니라 클래스별 결정 마진(decision margin)에도 의존한다. 해석적으로 다루기 쉬운 사례로 선형 보정(Linear correction)을 활용하여, 모달리티 갭 보정이 클래스 간의 상대적 결정 구조를 변경하고 예측이 소수의 클래스 하위 집합에 집중되도록 유도할 수 있음을 보인다. 본 논문에서는 이러한 출력 공간(output-space) 실패 모드를 예측 수준 허브니스(prediction-level hubness)라고 칭한다. 나아가 여러 데이터셋(dataset)에 걸친 실험을 통해 갭 보정 시 발생하는 정확도 저하가 선형 보정과 학습 기반 보정 방법 모두에서 예측 집중도 증가와 일관되게 연관되어 있음을 보인다. 이는 다운스트림 결정 구조 관점에서 모달리티 갭 감소가 왜 CLIP의 제로샷 정확도를 일관되게 향상시키지 못하는지에 대한 체계적인 설명을 제공한다. 본 연구 결과는 갭 보정이 평균 정렬뿐만 아니라 다운스트림 예측 구조에 미치는 영향으로도 평가되어야 함을 시사한다.

원문 초록

Reducing the modality gap between image and text representations in CLIP is widely expected to improve cross-modal alignment and downstream performance. However, a smaller average image-text gap does not necessarily lead to consistent accuracy gains. We analyze this mismatch from the perspective of the decision structure in zero-shot classification, i.e. selecting the most similar class-text prototype for an input image. Zero-shot accuracy depends not only on average image--text alignment, but also on class-wise decision margins. Using Linear correction as an analytically tractable case, we show that modality gap correction can alter the relative decision structure among classes and cause predictions to concentrate on a small subset of classes. We refer to this output-space failure mode as prediction-level hubness. Furthermore, experiments across multiple datasets show that accuracy degradation under gap correction is consistently associated with increased prediction concentration, both for Linear correction and for learning-based correction methods. This provides a systematic explanation of why modality gap reduction does not consistently improve CLIP zero-shot accuracy from the perspective of downstream decision structure. Our results suggest that gap correction should be evaluated not only by average alignment, but also by its impact on downstream prediction structure.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.01103v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.