arXiv:2607.25239v1 cs.CV

CD-RMOT-Bench: 교차 도메인 지칭 다중 객체 추적 벤치마킹

CD-RMOT-Bench: Benchmarking the Cross-Domain Referring Multi-Object Tracking

Xiangqun Zhang, Likai Wang, Zekun Qian, Ruize Han, Wei Feng

제출 2026-07-28

한국어 초록

지칭 다중 객체 추적(RMOT)은 자연어 표현에 객체 궤적을 그라운딩(grounding)함으로써 추적을 범주 중심 인지에서 언어 유도형 이해로 확장합니다. 최근의 발전에도 불구하고 기존 RMOT 연구는 대부분 도메인 내(in-domain) 환경에서 수행되어, 피할 수 없는 시각적 도메인 변화(domain shift) 상황에서 언어 조건부 추적의 강건성을 규명하지 못했습니다. 본 논문에서는 라벨이 지정된 소스 도메인에서 학습된 RMOT 모델이 시각적 조건이 다른 라벨 없는 타깃 도메인에서 자연어 표현을 안정적으로 따를 수 있는지를 평가하는 새롭고 도전적인 문제인 교차 도메인 지칭 다중 객체 추적(CD-RMOT)을 연구합니다. 체계적인 연구를 지원하기 위해, 실제 선명한 도메인의 지칭 추적 데이터, 정렬된 디지털 트윈(digital-twin) 변형, 실제 악조건 도메인 영상을 결합한 통합 벤치마크인 CD-RMOT-Bench를 구축합니다. CD-RMOT-Bench는 공유된 RMOT 프로토콜 하에서 통제된 날씨/시점 변화 분석과 현실적인 합성-실제(synthetic-real) 전이 평가를 모두 가능하게 합니다. 나아가 시각적 궤적과 지칭 표현을 연결하는 쿼리 공간을 안정화하도록 설계된 쿼리 중심 적응(QCA) 프레임워크를 제공합니다. 광범위한 실험을 통해 도메인 변화가 RMOT 성능을 심각하게 저하시키며, 이러한 실패가 단순한 객체 검출(object detection) 오류뿐만 아니라 더 결정적으로는 표현 조건부 시간적 연관 및 타깃 선택의 불안정성으로 인해 발생함을 밝혀냈습니다. QCA는 강력한 기준선(baseline)을 확립하며, CD-RMOT-Bench는 시각 도메인 전반에 걸친 강건한 언어 유도 추적을 위한 새로운 방향을 제시합니다.

원문 초록

Referring multi-object tracking (RMOT) extends tracking from category-driven perception to language-guided understanding by grounding object trajectories in natural-language expressions. Despite recent progress, existing RMOT studies are largely conducted under in-domain settings, leaving the robustness of language-conditioned tracking under inevitable visual domain shifts unexplored. In this paper, we study Cross-Domain Referring Multi-Object Tracking (CD-RMOT), a new and challenging problem that evaluates whether an RMOT model trained on a labeled source domain can reliably follow natural-language expressions in an unlabeled target domain with different visual conditions. To support systematic study, we construct CD-RMOT-Bench, a unified benchmark that combines real clear-domain referring tracking data, aligned digital-twin variants, and real adverse-domain videos. CD-RMOT-Bench enables both controlled weather/viewpoint shift analysis and realistic synthetic-real transfer evaluation under a shared RMOT protocol. Further, we provide a Query-Centric Adaptation (QCA) framework, designed to stabilize the query space that bridges visual trajectories and referring expressions. Extensive experiments reveal that domain shifts severely degrade RMOT performance, where the failure is not merely caused by object detection errors but more critically by unstable expression-conditioned temporal association and target selection. QCA establishes a strong baseline, while CD-RMOT-Bench opens a new direction for robust language-guided tracking across visual domains.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.25239v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.