arXiv:2611.15328v2 cs.CV

확장 가능한 다국어 텍스트 기반 인물 검색을 위한 시각 기반 의미 학습 및 정렬

Vision-Grounded Semantic Learning and Alignment for Scalable Multilingual Text-Based Person Retrieval

Xinyu Zhou, Fan Li, Shasha Chen, Min Cao, Ahtamjan Ahmat, Qiaoming Zhu, Mang Ye

제출 2026-11-11

한국어 초록

다국어 텍스트 기반 인물 검색(TBPR)은 여러 언어의 텍스트로 개인을 검색하는 것을 목표로 한다. 실용적 중요성에도 불구하고, 주로 영어 전용 검색에 초점을 맞춘 기존 연구에서는 간과되어 왔다. 다국어 TBPR에 대한 유일한 선행 시도는 (1) 대규모 다국어 사전 학습 데이터셋의 부재와 (2) 다국어 텍스트 인코딩 및 교차 모달 정렬을 위한 차선의 모델 아키텍처라는 문제를 안고 있다. 이 아키텍처는 언어적 이질성을 간과하는 공유 인코더를 사용하고 교차 모달 정렬에서 영어를 피벗으로 의존하여 영어 중심 편향을 초래한다. 이에 우리는 최초의 대규모 보행자 중심 다국어 사전 학습 데이터셋인 MultiPedes를 제공한다. 이 데이터셋은 다국어 품질 인식 데이터 구축 파이프라인으로 구축된 네 개 언어에 걸친 1,000만 개의 이미지-텍스트 쌍을 포함한다. 또한 우리는 새로운 프레임워크인 ViSeLA(Vision-grounded Semantic Learning and Alignment)를 제안한다. 이는 (1) 언어 불변 의미를 전문화된 전문가에게 라우팅하여 다국어 특징 학습을 개선하도록 전문가 혼합 아키텍처를 확장한 의미 인식 다국어 학습 모듈과, (2) 의미 프로브를 사용해 모달리티 간의 세밀한 의미를 포착함으로써 피벗 언어에 의존하지 않고 직접 교차 모달 정렬을 가능하게 하는 시각 기반 교차 모달 정렬 모듈을 특징으로 한다. 다국어 및 영어 전용 TBPR 데이터셋 모두에 대한 폭넓은 실험이 ViSeLA의 효과를 입증한다. 데이터셋과 코드는 https://github.com/Flame-Chasers/ViSeLA 에서 이용할 수 있다.

원문 초록

Multilingual Text-Based Person Retrieval (TBPR) aims to retrieve individuals with texts in multiple languages. Despite its practical importance, it has been overlooked by existing research, which mainly focuses on English-only retrieval. The only prior attempt at multilingual TBPR suffers from (1) the absence of a large-scale, multilingual pretraining dataset and (2) a suboptimal model architecture for multilingual text encoding and cross-modal alignment, which employs a shared encoder that overlooks linguistic heterogeneity and relies on English as a pivot for cross-modal alignment, introducing English-centric bias. For this, we contribute MultiPedes, the first large-scale, pedestrian-centric multilingual pretraining dataset. It contains 10 million image-text pairs across four languages, constructed by a multilingual quality-aware data construction pipeline. We also propose ViSeLA (Vision-grounded Semantic Learning and Alignment), a novel framework featuring: (1) a semantic-aware multilingual learning module that extends the mixture-of-experts architecture by routing language-invariant semantics to specialized experts for improved multilingual feature learning; and (2) a vision-grounded cross-modal alignment module that employs a semantic probe to capture fine-grained semantics across modalities, enabling direct cross-modal alignment without relying on a pivot language. Extensive experiments on both multilingual and English-only TBPR datasets demonstrate the effectiveness of ViSeLA. The dataset and code are available at https://github.com/Flame-Chasers/ViSeLA

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.15328v2제출 시각 미확인
  2. arXiv:2611.15328v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.