Hyper3-CLIP: 계층 조건 하이퍼볼릭 비전-언어 학습
Hyper3-CLIP: Hierarchy-Conditioned Hyperbolic Vision-Language Training
대조 목표로 학습된 CLIP류 비전-언어 모델(VLM)은 강한 전역 이미지-텍스트 표현을 학습하지만, 유클리드 임베딩과 전역 풀링은 부분-전체 및 부모-자식 관계와 같은 관계 구조를 인코딩하지 못한다. 하이퍼볼릭 VLM은 함의(entailment) 기반 목표로 이 공백을 메우며, 텍스트 조건 변형은 문장 및 구 수준 쿼리를 통해 세밀한 정렬을 개선한다. 그러나 이 두 연구 계열은 여전히 분리되어 있다. 하이퍼볼릭 VLM은 정적 이미지 및 영역 특징을 사용하는 반면, 쿼리 조건 방법은 계층적 기하 구조가 부족하다. 본 논문은 전역·지역·전역-지역 대조 학습을 쿼리 조건 시각 풀링과 결합한 계층 조건 하이퍼볼릭 VLM인 Hyper3-CLIP을 제안한다. 모델 학습을 위해 전체 캡션, 문장 조각, 지역화된 부분 설명, 추출된 구로 이루어진 경량 쿼리 계층을 텍스트에서 구성한다. 각 쿼리는 시각 패치 풀링을 조건화하며,由此 얻은 표현은 이미지-텍스트, 전체-부분, 부모-자식 함의 손실을 지원한다. 쿼리 조건 풀링은 학습 시에만 활성화된다. Hyper3-CLIP은 COCO와 Flickr에서 R@5·R@10 검색 성능을, VOC와 COCO에서 다중 레이블 분류를 개선하면서 계층 지표에서도 경쟁력을 유지한다. 또한 고정 프롬프트 체계 하에서 제로샷 프롬프트 민감도를 점검하고, 학습에 사용된 지역화 GRIT 부분 예산의 영향을 분석한다. 코드는 https://github.com/Hyper3Labs/hyper3-clip 에서 제공된다.