arXiv:2603.05384v2 cs.CV

ORMOT: 전방향 지시 다중 객체 추적을 위한 데이터셋 및 프레임워크

ORMOT: A Dataset and Framework for Omnidirectional Referring Multi-Object Tracking

Zihan Zhou, Sijia Chen, Yanqiu Yu, En Yu, Wenbing Tao

제출 2026-03-05

한국어 초록

전방향 카메라는 360° 공간 커버리지를 제공하여 자율 주행 및 비디오 감시와 같은 응용에서 점점 더 중요해지고 있다. 다중 객체 추적(MOT)과 그 언어 유도 확장인 지시 다중 객체 추적(RMOT)은 주목할 만한 진전을 이루었지만, 기존 방법은 시야가 제한된 일반 카메라에 의존하여 대상이 프레임 밖으로 이동할 때 중요한 문맥 단서가 손실된다. 이는 순차적 행동, 공간 관계, 집단 행동을 포함하는 장기 언어 설명을 해석하는 모델의 능력을 근본적으로 제한한다. 본 연구에서는 RMOT을 전방향 영상으로 확장하는 새로운 과제인 전방향 지시 다중 객체 추적(ORMOT)을 제안한다. 360° 커버리지는 정확한 언어 유도 추적을 위해 완전한 장면 문맥을 보장한다. 이 과제를 발전시키기 위해 27개의 전방향 장면, 848개의 언어 설명, 3,401개의 주석 객체로 구성된 데이터셋 ORSet을 구축한다. 또한 복잡한 360° 환경에서 제로샷 언어 유도 검출과 견고한 프레임 간 연관(association)을 가능하게 하는 LVLM 기반 프레임워크 ORTrack을 제안한다. ORSet에 대한 실험은 ORTrack이 최신 최고(state-of-the-art) 성능을 달성함을 보여주며, 향후 연구를 위한 강한 기준선을 제공한다. 데이터셋과 코드는 https://github.com/chen-si-jia/ORMOT 에서 오픈 소스로 공개될 예정이다.

원문 초록

Omnidirectional cameras provide 360° spatial coverage, making them increasingly valuable in applications such as autonomous driving and video surveillance. While Multi-Object Tracking (MOT) and its language-guided extension, Referring Multi-Object Tracking (RMOT), have achieved notable progress, existing methods rely on conventional cameras with limited fields of view, causing critical contextual cues to be lost when targets move outside the frame. This fundamentally limits the model's ability to interpret long-horizon language descriptions involving sequential actions, spatial relations, and group behaviors. In this work, we propose Omnidirectional Referring Multi-Object Tracking (ORMOT), a novel task extending RMOT to omnidirectional imagery, where 360° coverage ensures complete scene context for accurate language-guided tracking. To advance this task, we construct ORSet, a dataset comprising 27 omnidirectional scenes, 848 language descriptions, and 3,401 annotated objects. Furthermore, we propose ORTrack, an LVLM-driven framework that enables zero-shot language-guided detection and robust cross-frame association in complex 360° environments. Experiments on ORSet demonstrate that ORTrack achieves state-of-the-art performance, providing a strong baseline for future research. The dataset and code will be open-sourced at https://github.com/chen-si-jia/ORMOT.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2603.05384v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.