arXiv:2512.22969v2 cs.CV

CLIP-Joint-Detect: 대조 비전-언어 감독을 통한 객체 탐지기의 종단간 공동 학습

CLIP-Joint-Detect: End-to-End Joint Training of Object Detectors with Contrastive Vision-Language Supervision

Behnam Raoufi, Hossein Sharify, Mohamad Mahdee Ramezanee, Khosrow Hajsadeghi, Saeed Bagheri Shouraki

제출 2025-12-28

한국어 초록

기존의 객체 탐지기(object detector)는 교차 엔트로피(cross-entropy) 분류에 의존하므로 클래스 불균형과 레이블 노이즈에 취약할 수 있습니다. 본 논문에서는 종단간(end-to-end) 공동 학습(joint training)을 통해 CLIP 스타일의 대조 비전-언어(contrastive vision-language) 감독을 통합하는 단순하고 탐지기 독립적인(detector-agnostic) 프레임워크인 CLIP-Joint-Detect를 제안합니다. 경량 병렬 헤드는 영역 또는 그리드 특징을 CLIP 임베딩 공간으로 투영하고, 모든 표준 탐지 손실이 동시에 최적화되는 동안 InfoNCE 대조 손실(contrastive loss)과 보조 교차 엔트로피 항을 통해 이를 학습 가능한 클래스별 텍스트 임베딩과 정렬합니다. 이 접근 방식은 2단계(two-stage) 및 1단계(one-stage) 아키텍처 모두에 매끄럽게 적용됩니다. Faster R-CNN을 사용하여 Pascal VOC 2007+2012에서, 현대적인 YOLO 탐지기(YOLOv11)를 사용하여 대규모 MS COCO 2017 벤치마크에서 이를 검증하였으며, 실시간 추론 속도를 유지하면서도 일관되고 상당한 성능 향상을 달성했습니다. 광범위한 실험과 절제 연구(ablation study)를 통해 학습 가능한 텍스트 임베딩을 활용한 공동 최적화가 다양한 아키텍처와 데이터셋에 걸쳐 닫힌 집합(closed-set) 탐지 성능을 뚜렷하게 향상시킴을 입증합니다.

원문 초록

Conventional object detectors rely on cross-entropy classification, which can be vulnerable to class imbalance and label noise. We propose CLIP-Joint-Detect, a simple and detector-agnostic framework that integrates CLIP-style contrastive vision-language supervision through end-to-end joint training. A lightweight parallel head projects region or grid features into the CLIP embedding space and aligns them with learnable class-specific text embeddings via InfoNCE contrastive loss and an auxiliary cross-entropy term, while all standard detection losses are optimized simultaneously. The approach applies seamlessly to both two-stage and one-stage architectures. We validate it on Pascal VOC 2007+2012 using Faster R-CNN and on the large-scale MS COCO 2017 benchmark using modern YOLO detectors (YOLOv11), achieving consistent and substantial improvements while preserving real-time inference speed. Extensive experiments and ablations demonstrate that joint optimization with learnable text embeddings markedly enhances closed-set detection performance across diverse architectures and datasets.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2512.22969v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.