Hyper3-CLIP: 계층 조건 하이퍼볼릭 비전-언어 학습
Hyper3-CLIP: Hierarchy-Conditioned Hyperbolic Vision-Language Training
한국어 초록
대조 목표로 학습된 CLIP류 비전-언어 모델(VLM)은 강한 전역 이미지-텍스트 표현을 학습하지만, 유클리드 임베딩과 전역 풀링은 부분-전체 및 부모-자식 관계와 같은 관계 구조를 인코딩하지 못한다. 하이퍼볼릭 VLM은 함의(entailment) 기반 목표로 이 공백을 메우며, 텍스트 조건 변형은 문장 및 구 수준 쿼리를 통해 세밀한 정렬을 개선한다. 그러나 이 두 연구 계열은 여전히 분리되어 있다. 하이퍼볼릭 VLM은 정적 이미지 및 영역 특징을 사용하는 반면, 쿼리 조건 방법은 계층적 기하 구조가 부족하다. 본 논문은 전역·지역·전역-지역 대조 학습을 쿼리 조건 시각 풀링과 결합한 계층 조건 하이퍼볼릭 VLM인 Hyper3-CLIP을 제안한다. 모델 학습을 위해 전체 캡션, 문장 조각, 지역화된 부분 설명, 추출된 구로 이루어진 경량 쿼리 계층을 텍스트에서 구성한다. 각 쿼리는 시각 패치 풀링을 조건화하며,由此 얻은 표현은 이미지-텍스트, 전체-부분, 부모-자식 함의 손실을 지원한다. 쿼리 조건 풀링은 학습 시에만 활성화된다. Hyper3-CLIP은 COCO와 Flickr에서 R@5·R@10 검색 성능을, VOC와 COCO에서 다중 레이블 분류를 개선하면서 계층 지표에서도 경쟁력을 유지한다. 또한 고정 프롬프트 체계 하에서 제로샷 프롬프트 민감도를 점검하고, 학습에 사용된 지역화 GRIT 부분 예산의 영향을 분석한다. 코드는 https://github.com/Hyper3Labs/hyper3-clip 에서 제공된다.
원문 초록
CLIP-like vision-language models (VLMs) trained with contrastive objectives learn strong global image-text representations, but their Euclidean embeddings and global pooling fail to encode relational structure such as part-whole and parent-child relations. Hyperbolic VLMs address this gap with entailment-based objectives, and text-conditioned variants improve fine-grained alignment through sentence- and phrase-level queries. However, these two lines of work remain separate: hyperbolic VLMs use static image and region features, while query-conditioned methods lack hierarchical geometric structure. We present Hyper3-CLIP, a hierarchy-conditioned hyperbolic VLM that combines global, local, and global-local contrastive learning with query-conditioned visual pooling. To train the model, we construct lightweight query hierarchies from text, comprising full captions, sentence fragments, localized part descriptions, and extracted phrases. Each query conditions the pooling of visual patches, and the resulting representations support image-text, whole-part, and parent-child entailment losses. Query-conditioned pooling is active only during training. Hyper3-CLIP improves R@5 and R@10 retrieval on COCO and Flickr, as well as multi-label classification on VOC and COCO, while remaining competitive on hierarchy metrics. We also audit zero-shot prompt sensitivity under fixed prompt regimes and study the effect of the localized GRIT part budget used during training. Code is available at https://github.com/Hyper3Labs/hyper3-clip.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.29313v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.