Physical AI Smart Spaces는 우리가 아는 한 실내 스마트 공간을 대상으로 대규모, 다중 클래스(multi-class), 다중 카메라 3D 인식(3D perception) 데이터를 동시에 제공하는 최초의 벤치마크이다. 이 데이터셋은 물류창고, 병원, 소매점 및 이와 유사한 환경에서 약 1,800대의 카메라로 촬영한 280시간 이상의 동기화된 1080p 영상과 함께, 다중 카메라 식별자(ID), 2D 바운딩 박스, 3D 바운딩 박스, 카메라 캘리브레이션, 그리고 가능한 경우 깊이(depth) 정보에 대한 자동 주석(annotation)을 포함한다. 본 벤치마크는 Isaac Sim 기반 합성 데이터 생성, Cosmos Transfer 외형 증강(appearance augmentation), 그리고 실제 환경에서의 Sim2Real 평가를 아우른다. 실제 대상 환경을 위해, 시간 동기화된 스트림, 자동 VGGT 기반 캘리브레이션, 그리고 교차 카메라 검증을 위해 월드 좌표계(world-frame) 3D 박스를 각 뷰에 투영하는 3D 라벨링 인터페이스를 갖춘 두 곳의 물류창고 배포 환경을 포함한다. 우리는 데이터셋 범위, 주석 및 캘리브레이션 스키마, 생성 워크플로우, 벤치마크 프로토콜, 그리고 제출 형식과 리더보드 보고를 표준화한 공식 평가 시스템을 설명한다. 핵심 기여 중 하나는 기존의 2D 박스 기반 추적 평가를 3D 위치 및 3D 박스로 확장한 HOTA(Higher Order Tracking Accuracy)의 3D 구현이다. 나아가 AI City Challenge 리더보드의 실증적 베이스라인을 보고하여, 현실적인 스마트 공간 제약 조건 하에서 방법론들이 인물 전용 3D 위치 추적에서 다중 클래스 3D 박스 추적으로 어떻게 발전하는지 보여준다. 공개된 데이터셋은 https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces 에서 확인할 수 있다.
다중 카메라 사람 추적(MCPT)은 전통적으로 2D 검출 결과를 통합된 3D 월드 좌표계로 투영하기 위해 정밀한 카메라 내부 및 외부 보정에 의존한다. 그러나 수동 보정은 제약 없는 영상 아카이브로부터 대규모 데이터셋을 생성하는 데 주요 병목이 된다. 본 연구는 딥 파운데이션 모델을 사용하여 시각 데이터로부터 기하 구조를 직접 추론하는 통합 보정 불필요 3D MCPT 프레임워크를 제안한다. 시스템은 앵커-프리 검출(YOLOX), 강건한 추적(BoT-SORT), 전 스케일 외형 임베딩(OsNet), 자세 추정(MMPose를 통한 HRNet), Visual Geometry Grounded Transformer(VGGT)를 이용한 트랜스포머 기반 기하 재구성을 통합한다. 자세 유도 3D 리프팅 전략은 머리 키포인트를 재구성된 매니폴드에 투영하여 지면 평면 호모그래피(ground-plane homography)에 대한 의존을 제거한다. 전역 신원 연관은 엄격한 속도 게이팅을 적용한 외형-기하 결합 비용 하에서 계층적 응집 클러스터링으로 공식화된다. AI City Challenge 2024에서의 평가는 ground-truth 보정 행렬에 접근하지 않고 HOTA 점수 53.13%를 달성하여, 순수 비전 기반 3D 추적을 위한 강력한 기준선을 확립한다.
다중 카메라 다중 목표(Multi-Camera Multi-Target, MCMT) 추적은 자율주행부터 동물 행동 모니터링에 이르는 다양한 응용에서 핵심 역량으로 부상했다. 최근 정교한 추적 알고리즘이 등장했지만, 주석이 달린 다중 뷰 데이터의 확보는 여전히 중대한 병목으로 남아 있다. 기존 주석 도구는 대부분 단일 카메라 워크플로를 지원하거나 LiDAR 센서에 의존하여, 카메라 전용 구성에서는 교차 뷰 라벨링이 번거롭고 비현실적이다. 본 논문에서는 주석자가 조감도(bird's-eye-view, BEV) 평면에서 직접 작업할 수 있게 함으로써 이러한 한계를 해결하는 다중 카메라 주석 시스템 ARGUS-TRACK을 제안한다. 보정된 카메라 파라미터가 주어지면, 단일 지면 주석이 관련된 모든 뷰에 걸쳐 2D 바운딩 박스로 자동 투영되어, 수동 교차 뷰 정렬 없이도 본질적으로 ID 일관성을 보장한다. 라벨링 과정을 더욱 가속하기 위해 ARGUSTRACK은 두 가지 상호 보완적인 메커니즘을 통합한다: 선행 프레임의 주석을 전파하여 새 프레임을 초기화하고 미세한 위치 조정만 필요로 하는 Temporal Aware 모듈; 그리고 기성(off-the-shelf) 2D 검출기와 발 위치(foot-point) 추정을 결합하여 주석자 검증을 위한 후보 BEV 위치를 자동 생성하는 Multi-camera Semi-annotation 모듈. 다중 카메라 육계(broiler) 추적에 대한 파일럿 연구를 통해 ARGUSTRACK을 평가하였으며, 기존 단일 카메라 라벨링 워크플로 대비 주석 시간이 현저히 단축됨을 보였다.