scl.sds.hit-u.ac.jp

이 이메일 도메인이 관측된 논문 1건

arXiv:2609.01103v1cs.CL

모달리티 갭 감소가 실패할 때: CLIP에서의 예측 수준 허브니스

When Modality Gap Reduction Fails: Prediction-Level Hubness in CLIP

CLIP에서 이미지와 텍스트 표현 간의 모달리티 갭(modality gap)을 줄이는 것은 일반적으로 교차 모달 정렬(cross-modal alignment) 및 다운스트림 성능을 향상시킬 것으로 기대된다. 그러나 평균 이미지-텍스트 갭이 작아진다고 해서 반드시 일관된 정확도 향상으로 이어지는 것은 아니다. 본 논문에서는 입력 이미지에 대해 가장 유사한 클래스-텍스트 프로토타입을 선택하는 제로샷(zero-shot) 분류(classification)의 결정 구조 관점에서 이러한 불일치를 분석한다. 제로샷 정확도는 평균 이미지-텍스트 정렬뿐만 아니라 클래스별 결정 마진(decision margin)에도 의존한다. 해석적으로 다루기 쉬운 사례로 선형 보정(Linear correction)을 활용하여, 모달리티 갭 보정이 클래스 간의 상대적 결정 구조를 변경하고 예측이 소수의 클래스 하위 집합에 집중되도록 유도할 수 있음을 보인다. 본 논문에서는 이러한 출력 공간(output-space) 실패 모드를 예측 수준 허브니스(prediction-level hubness)라고 칭한다. 나아가 여러 데이터셋(dataset)에 걸친 실험을 통해 갭 보정 시 발생하는 정확도 저하가 선형 보정과 학습 기반 보정 방법 모두에서 예측 집중도 증가와 일관되게 연관되어 있음을 보인다. 이는 다운스트림 결정 구조 관점에서 모달리티 갭 감소가 왜 CLIP의 제로샷 정확도를 일관되게 향상시키지 못하는지에 대한 체계적인 설명을 제공한다. 본 연구 결과는 갭 보정이 평균 정렬뿐만 아니라 다운스트림 예측 구조에 미치는 영향으로도 평가되어야 함을 시사한다.