보행자 사이에서 작동하는 모바일 로봇은 빠르게 가용해지고, 누락된 관측 속에서도 공간적 신뢰성을 유지하며, 동일성을 보존하고, 임베디드 컴퓨팅 예산 내에 부합하는 궤적을 필요로 합니다. 종합 추적 점수는 궤적이 언제 어떻게 실패하는지에 대한 통찰을 제한적으로만 제공하며, 서로 다른 검출기(detector) 입력은 추적기(tracker)와 검출기의 품질을 혼동시킬 수 있습니다. 본 논문에서는 공유된 검출 결과를 사용하여 추적기의 동작을 분리하고, 초기화(initialization), 검출기 공백 지속성, 동일성 복구, 근접 이웃 연관성, 부하 의존적 추적기 스텝 실행 시간을 직접 평가하는 배포 중심의 추적기 전용 평가 프로토콜을 제시하며, 보완적인 종합 척도로 HOTA(Higher Order Tracking Accuracy)를 유지합니다. 6개의 오픈 소스 추적기와 자체 개발한 경량 Pedestrian Reference Tracker(PedRefTrack), 그리고 이상적인 연관 및 모션 하에서 추적기 측 잔여 격차를 추정하는 GT 보조 변형을 사용하여 JackRabbot 데이터셋 및 벤치마크(JRDB)에 이 프로토콜을 적용합니다. 고정된 검출 조건에서 GT를 사용하지 않는 추적기들은 24.26%~29.67%의 좁은 HOTA 범위에 머물렀지만, 뚜렷하게 다른 능력 프로파일을 나타냈습니다. 검출기 지원 없이 1.0초가 지난 후, GT 보조가 없는 어떤 추적기도 적격 사례의 절반 이상에서 공간적으로 정확하고 동일한 동일성의 출력을 유지하지 못하여, 누락된 관측 지속성이 테스트된 특성 중 가장 주요한 한계점으로 나타났습니다. 근접 이웃 실패는 더 적었으며 주로 가장 가까운 분리 거리에서 증가했습니다. NVIDIA Jetson Orin에서의 추적기 스텝 실행 시간은 꼬리가 길고(heavy-tailed) 부하에 민감하여 혼잡한 프레임에서 여러 추적기가 10 Hz 실시간 목표치 이하로 떨어졌습니다. 본 프로토콜은 보행자 중심 환경에서 추적기의 동작과 배포 적합성을 특성화할 수 있는 재현 가능한 방법을 제공합니다. 코드 및 평가 스크립트는 https://github.com/SCAI-Lab/tracker_eval 에 공개되어 있습니다.
Open-loop performance evaluation of 3D multi-object tracking in autonomous driving requires matching criteria that effectively penalize translational, shape, and orientation errors from the ego vehicle perspective. The prevailing criteria for determining true positives are Intersection over Union (IoU) and Centre-Point Distances (CPD). When IoU is extended from the 2D image plane to 3D volumetric overlap, it often falls below its acceptance threshold even with minor yaw misalignments, whereas CPD disregards orientation entirely. To address this limitation, we propose Contour Errors (CE) as an ego-centric criterion that employs Hausdorff-type reasoning to sparse bounding-box corner geometry by selecting the k-nearest ego-centric corners. This method provides a graded orientation sensitivity between the extremes of IoU, which overpenalizes, and CPD, which is orientation-blind. We evaluate Contour Errors against six baselines using the HOTA evaluation protocol on the nuScenes dataset, conditioned on proximity, yaw error, and a confidence threshold. At the standard IoU vehicle threshold, 47% of car and 75% of pedestrian CE-valid matches are rejected by IoU despite close contour proximity, while fewer than 0.1% of IoU-valid matches fail CE. These results establish the ego-centric matching criterion as a primary factor for improving open-loop perception evaluation in safety-critical autonomous driving.