arXiv:2610.01682v1 cs.RO

리더보드 점수를 넘어서: 보행자 중심 환경에서 해석 가능한 추적 평가를 위한 배포 중심 프로토콜

Beyond Leaderboard Scores: A Deployment-Focused Protocol for Interpretable Tracking Evaluation in Pedestrian-Centric Environments

Dominik Wojcikiewicz, Diego Paez-Granados

제출 2026-10-01

저자 비고

arXiv Comments

8 pages, 7 figures; supplementary video provided as ancillary material. Submitted to IEEE Robotics and Automation Letters (RA-L)

한국어 초록

보행자 사이에서 작동하는 모바일 로봇은 빠르게 가용해지고, 누락된 관측 속에서도 공간적 신뢰성을 유지하며, 동일성을 보존하고, 임베디드 컴퓨팅 예산 내에 부합하는 궤적을 필요로 합니다. 종합 추적 점수는 궤적이 언제 어떻게 실패하는지에 대한 통찰을 제한적으로만 제공하며, 서로 다른 검출기(detector) 입력은 추적기(tracker)와 검출기의 품질을 혼동시킬 수 있습니다. 본 논문에서는 공유된 검출 결과를 사용하여 추적기의 동작을 분리하고, 초기화(initialization), 검출기 공백 지속성, 동일성 복구, 근접 이웃 연관성, 부하 의존적 추적기 스텝 실행 시간을 직접 평가하는 배포 중심의 추적기 전용 평가 프로토콜을 제시하며, 보완적인 종합 척도로 HOTA(Higher Order Tracking Accuracy)를 유지합니다. 6개의 오픈 소스 추적기와 자체 개발한 경량 Pedestrian Reference Tracker(PedRefTrack), 그리고 이상적인 연관 및 모션 하에서 추적기 측 잔여 격차를 추정하는 GT 보조 변형을 사용하여 JackRabbot 데이터셋 및 벤치마크(JRDB)에 이 프로토콜을 적용합니다. 고정된 검출 조건에서 GT를 사용하지 않는 추적기들은 24.26%~29.67%의 좁은 HOTA 범위에 머물렀지만, 뚜렷하게 다른 능력 프로파일을 나타냈습니다. 검출기 지원 없이 1.0초가 지난 후, GT 보조가 없는 어떤 추적기도 적격 사례의 절반 이상에서 공간적으로 정확하고 동일한 동일성의 출력을 유지하지 못하여, 누락된 관측 지속성이 테스트된 특성 중 가장 주요한 한계점으로 나타났습니다. 근접 이웃 실패는 더 적었으며 주로 가장 가까운 분리 거리에서 증가했습니다. NVIDIA Jetson Orin에서의 추적기 스텝 실행 시간은 꼬리가 길고(heavy-tailed) 부하에 민감하여 혼잡한 프레임에서 여러 추적기가 10 Hz 실시간 목표치 이하로 떨어졌습니다. 본 프로토콜은 보행자 중심 환경에서 추적기의 동작과 배포 적합성을 특성화할 수 있는 재현 가능한 방법을 제공합니다. 코드 및 평가 스크립트는 https://github.com/SCAI-Lab/tracker_eval 에 공개되어 있습니다.

원문 초록

Mobile robots operating among pedestrians need trajectories that become available quickly, remain spatially credible through missed observations, preserve identity, and fit within an embedded computing budget. Aggregate tracking scores provide limited insight into when and how trajectories fail, while varying detector inputs can confound tracker and detector quality. We present a deployment-focused, tracker-only evaluation protocol that uses shared detections to isolate tracker behavior and directly evaluates initialization, detector-gap continuation, identity recovery, close-neighbor association, and load-dependent tracker-step runtime, while Higher Order Tracking Accuracy (HOTA) is retained as a complementary aggregate measure. We apply the protocol to the JackRabbot Dataset and Benchmark (JRDB) using six open-source trackers and our lightweight Pedestrian Reference Tracker (PedRefTrack), together with a GT-assisted variant that estimates the remaining tracker-side gap under idealized association and motion. Under fixed detections, the non-GT trackers span only 24.26%-29.67% HOTA yet exhibit markedly different capability profiles. After 1.0 s without detector support, no tracker without GT assistance maintains spatially correct, same-identity output in more than half of eligible cases, making missing-observation continuation the dominant limitation among the tested properties. Close-neighbor failures are smaller and increase mainly at the shortest separations. Tracker-step runtime on an NVIDIA Jetson Orin is heavy-tailed and load-sensitive, causing several trackers to fall below the 10 Hz real-time target in crowded frames. The protocol provides a reproducible way to characterize tracker behavior and deployment suitability in pedestrian-centric environments. Code and evaluation scripts are released at https://github.com/SCAI-Lab/tracker_eval.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01682v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02580v1cs.CV공통 태그 Benchmarking, Object Tracking

Physical AI Smart Spaces: 스마트 공간에서의 다중 카메라 3D 인식을 위한 대규모 벤치마크

Physical AI Smart Spaces: A Large-Scale Benchmark for Multi-Camera 3D Perception in Smart Spaces

Physical AI Smart Spaces는 우리가 아는 한 실내 스마트 공간을 대상으로 대규모, 다중 클래스(multi-class), 다중 카메라 3D 인식(3D perception) 데이터를 동시에 제공하는 최초의 벤치마크이다. 이 데이터셋은 물류창고, 병원, 소매점 및 이와 유사한 환경에서 약 1,800대의 카메라로 촬영한 280시간 이상의 동기화된 1080p 영상과 함께, 다중 카메라 식별자(ID), 2D 바운딩 박스, 3D 바운딩 박스, 카메라 캘리브레이션, 그리고 가능한 경우 깊이(depth) 정보에 대한 자동 주석(annotation)을 포함한다. 본 벤치마크는 Isaac Sim 기반 합성 데이터 생성, Cosmos Transfer 외형 증강(appearance augmentation), 그리고 실제 환경에서의 Sim2Real 평가를 아우른다. 실제 대상 환경을 위해, 시간 동기화된 스트림, 자동 VGGT 기반 캘리브레이션, 그리고 교차 카메라 검증을 위해 월드 좌표계(world-frame) 3D 박스를 각 뷰에 투영하는 3D 라벨링 인터페이스를 갖춘 두 곳의 물류창고 배포 환경을 포함한다. 우리는 데이터셋 범위, 주석 및 캘리브레이션 스키마, 생성 워크플로우, 벤치마크 프로토콜, 그리고 제출 형식과 리더보드 보고를 표준화한 공식 평가 시스템을 설명한다. 핵심 기여 중 하나는 기존의 2D 박스 기반 추적 평가를 3D 위치 및 3D 박스로 확장한 HOTA(Higher Order Tracking Accuracy)의 3D 구현이다. 나아가 AI City Challenge 리더보드의 실증적 베이스라인을 보고하여, 현실적인 스마트 공간 제약 조건 하에서 방법론들이 인물 전용 3D 위치 추적에서 다중 클래스 3D 박스 추적으로 어떻게 발전하는지 보여준다. 공개된 데이터셋은 https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.