SelfMOTR: 자체 생성 검출 사전(prior)을 활용한 MOTR 재검토
SelfMOTR: Revisiting MOTR with Self-Generating Detection Priors
End-to-end 트랜스포머 아키텍처는 검출과 연관(association)을 휴리스틱 없는 단일 프레임워크로 통합함으로써 다중 객체 추적(multi-object tracking)에서 큰 진전을 이끌어 왔다. 이러한 이점에도 불구하고, 낮은 검출 성능과 결합(joint) 아키텍처에서 검출과 연관 사이의 본질적 충돌은 여전히 핵심적인 문제로 남아 있다. 최근 접근법들은 고급 디노이징(denoising) 또는 레이블 할당(label assignment) 전략을 쓰거나, 외부 객체 검출기로부터 검출 사전(prior)을 도입하는 방식으로 이러한 문제를 완화하려 한다. 본 논문에서는 SelfMOTR을 제안한다. 이는 자체 생성 내부 검출 사전을 사용해 제안(proposal) 발견과 연관을 분리하는, 단순하면서도 매우 효과적인 검출기 없는(detector-free) 대안이다. 광범위한 분석과 ablation 연구를 통해, 검출-연관 공동 디코딩(joint detection-association decoding)을 갖춘 end-to-end 트랜스포머 추적기가 상당한 잠재 검출 용량(hidden detection capacity)을 유지함을 보이고, 이를 활용하는 실용적인 검출기 없는 메커니즘을 제시한다. 이러한 공동 디코딩 역학을 밝히기 위해, 대규모 언어 모델(LLM)의 어텐션 싱크(attention sink) 분석에서 영감을 받아 Track Attention Mass를 활용하여, 표준 범용 쿼리(generic query)가 불균형한 어텐션을 보이며 추적 문맥(track context)과 새로운 객체 발견 사이의 가중을 자주 어려워함을 보인다. SelfMOTR은 복잡하고 동적인 환경에서 매우 경쟁력 있는 성능을 달성하여 DanceTrack에서 69.2 HOTA를, Bird Flock Tracking(BFT) 데이터셋에서 71.1 HOTA로 선두를 기록한다. 프로젝트 페이지: https://medem23.github.io/SM