YesTrack: MLLM 기반 Yes/No 검증을 통한 참조 다중 객체 추적
YesTrack: Referring Multi-Object Tracking via MLLM-based Yes/No Verification
한국어 초록
참조 다중 객체 추적(RMOT)은 주어진 언어 표현과 일치하는 비디오 내의 모든 인스턴스를 추적하는 것을 목표로 합니다. 일반화 성능을 향상하기 위해 최근 멀티모달 대규모 언어 모델(MLLM)을 통합하고 있음에도 불구하고, 기존 방법들은 주로 MLLM을 캡션 생성기의 역할로 격하시켜 최종 의사결정을 위한 외부 모듈을 필요로 합니다. 이러한 패러다임은 추가적인 지연 시간을 유발할 뿐만 아니라 MLLM의 고유한 비전-언어 정렬(alignment) 능력을 심각하게 제대로 활용하지 못합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 명시적인 텍스트 생성 없이 Yes/No 검증에 MLLM을 직접 활용하여 참조를 판별(discriminative) 태스크로 재구성하는 새로운 2단계 RMOT 방법인 YesTrack을 제안합니다. 이러한 MLLM 기반 검증의 신뢰성과 효율성을 더욱 향상하기 위해 시간적 신뢰도 사전확률(Temporal Confidence Prior, TCP)과 시간적 참조 전파(Temporal Reference Propagation, TRP)라는 두 가지 경량 시간 일관성 제약 조건을 도입합니다. 또한 일반 다중 객체 추적(MOT)을 위한 직관적이면서도 매우 효과적인 인스턴스화인 YesTrack-MOT를 제안하여 이 판별 패러다임의 범용성을 추가로 검증합니다. Refer-KITTI 및 Refer-KITTI-V2에 대한 실험 결과, YesTrack은 가장 작은 Qwen3-VL 변형으로 구현되었을 때도 높은 효율성을 유지하면서 기존 최첨단(SOTA) 방법들보다 우수한 성능을 크게 보여줍니다. 코드는 https://github.com/ggbondrighthere24/YesTrack 에 공개되어 있습니다.
원문 초록
Referring multi-object tracking (RMOT) aims to track every instance in a video that matches a given language expression. Despite the recent integration of multimodal large language models (MLLMs) to enhance generalization, existing methods predominantly relegate them to the role of caption generators, necessitating external modules for final decision-making. This paradigm not only introduces extra latency but also severely underutilizes the inherent vision-language alignment capabilities of MLLMs. To address these limitations, we propose YesTrack, a novel two-stage RMOT method that reformulates referring as a discriminative task, directly leveraging MLLMs for Yes/No verification without explicit text generation. To further enhance the reliability and efficiency of this MLLM-based verification, we introduce two lightweight temporal consistency constraints: Temporal Confidence Prior (TCP) and Temporal Reference Propagation (TRP). We further validate the generality of this discriminative paradigm by proposing YesTrack-MOT, a straightforward yet highly effective instantiation for generic multi-object tracking (MOT). Experiments on Refer-KITTI and Refer-KITTI-V2 show that YesTrack significantly outperforms existing state-of-the-art methods while maintaining high efficiency, even when implemented with the smallest variant of Qwen3-VL. Code is released at https://github.com/ggbondrighthere24/YesTrack.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.02318v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.