arXiv:2509.24192v2 cs.CV

조각으로 말하고, 전체로 보다: 언어 기반 객체 검출에서의 분리 및 계층적 표현 학습

Talk in Pieces, See in Whole: Disentangled and Hierarchical Representation Learning in Language-based Object Detection

Sojung An, Kwanyong Park, Yong Jae Lee, Donghyun Kim

제출 2025-09-29

한국어 초록

비전-언어 모델(VLM)은 단순한 언어 쿼리를 이용한 오픈 어휘(open-vocabulary) 객체 검출에서 보인 바와 같이 다중모달 인식을 크게 발전시켜 왔다. 그러나 최첨단 VLM은 서술적 속성과 관계 절을 포함하는 복잡한 쿼리를 처리하는 데 여전히 어려움을 겪는다. 이 문제를 해결하기 위해, 우리는 언어 기반 객체 검출을 위해 문장 내 계층적 관계에 따라 언어 표현을 재구조화하는 방법을 제안한다. 핵심 통찰은 텍스트 토큰을 핵심 구성 요소—객체, 속성, 관계—로 분리하고, 이를 계층적으로 구조화된 문장 수준 표현으로 집계해야 한다는 것이다. 이 원칙에 기반하여, 우리는 세 가지 주요 기여를 갖는 TaSe(Talk in Pieces, See in Whole) 프레임워크를 제안한다: (1) 카테고리 이름부터 서술적 문장까지 세 단계에 걸친 계층적 합성 캡셔닝 데이터셋; (2) 새로운 분리 손실 함수로 안내되는 세 구성 요소 분리 모듈이 텍스트 임베딩을 부분공간(subspace) 합성으로 변환하는 것; (3) 제안하는 계층적 목적 함수로 안내되며 분리된 구성 요소를 계층적으로 구조화된 임베딩으로 집계하는 것. OmniLabel 벤치마크에서의 실험 결과는 24%의 성능 향상을 보여주며, 언어적 조합성(compositionality)의 중요성을 입증한다.

원문 초록

Vision-language models (VLMs) have advanced multimodal perception, demonstrated by open-vocabulary object detection with simple language queries. State-of-the-art VLMs still struggle to handle complex queries involving descriptive attributes and relational clauses. To address this problem, we propose restructuring linguistic representations according to the hierarchical relations within sentences for language-based object detection. A key insight is that textual tokens should be disentangled into core components-objects, attributes, and relations-and aggregated into hierarchically structured sentence-level representations. Building on this principle, we introduce the TaSe (Talk in Pieces, See in Whole) framework with three main contributions: (1) a hierarchical synthetic captioning dataset spanning three tiers from category names to descriptive sentences; (2) the three-component disentanglement module guided by a novel disentanglement loss function, transforms text embeddings into subspace compositions; and (3) aggregating disentangled components into hierarchically structured embeddings guided by the proposed hierarchical objectives. Experimental results under the OmniLabel benchmark show a 24% performance improvement, demonstrating the importance of linguistic compositionality.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2509.24192v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.