Physical AI Smart Spaces: 스마트 공간에서의 다중 카메라 3D 인식을 위한 대규모 벤치마크
Physical AI Smart Spaces: A Large-Scale Benchmark for Multi-Camera 3D Perception in Smart Spaces
한국어 초록
Physical AI Smart Spaces는 우리가 아는 한 실내 스마트 공간을 대상으로 대규모, 다중 클래스(multi-class), 다중 카메라 3D 인식(3D perception) 데이터를 동시에 제공하는 최초의 벤치마크이다. 이 데이터셋은 물류창고, 병원, 소매점 및 이와 유사한 환경에서 약 1,800대의 카메라로 촬영한 280시간 이상의 동기화된 1080p 영상과 함께, 다중 카메라 식별자(ID), 2D 바운딩 박스, 3D 바운딩 박스, 카메라 캘리브레이션, 그리고 가능한 경우 깊이(depth) 정보에 대한 자동 주석(annotation)을 포함한다. 본 벤치마크는 Isaac Sim 기반 합성 데이터 생성, Cosmos Transfer 외형 증강(appearance augmentation), 그리고 실제 환경에서의 Sim2Real 평가를 아우른다. 실제 대상 환경을 위해, 시간 동기화된 스트림, 자동 VGGT 기반 캘리브레이션, 그리고 교차 카메라 검증을 위해 월드 좌표계(world-frame) 3D 박스를 각 뷰에 투영하는 3D 라벨링 인터페이스를 갖춘 두 곳의 물류창고 배포 환경을 포함한다. 우리는 데이터셋 범위, 주석 및 캘리브레이션 스키마, 생성 워크플로우, 벤치마크 프로토콜, 그리고 제출 형식과 리더보드 보고를 표준화한 공식 평가 시스템을 설명한다. 핵심 기여 중 하나는 기존의 2D 박스 기반 추적 평가를 3D 위치 및 3D 박스로 확장한 HOTA(Higher Order Tracking Accuracy)의 3D 구현이다. 나아가 AI City Challenge 리더보드의 실증적 베이스라인을 보고하여, 현실적인 스마트 공간 제약 조건 하에서 방법론들이 인물 전용 3D 위치 추적에서 다중 클래스 3D 박스 추적으로 어떻게 발전하는지 보여준다. 공개된 데이터셋은 https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces 에서 확인할 수 있다.
원문 초록
Physical AI Smart Spaces is, to the best of our knowledge, the first benchmark to simultaneously provide large-scale, multi-class, and multi-camera 3D perception data for indoor smart spaces. It contains over 280 hours of synchronized 1080p footage captured by nearly 1,800 cameras in warehouses, hospitals, retail venues, and similar settings, together with automatic annotations for multi-camera identities, 2D bounding boxes, 3D bounding boxes, camera calibration, and depth where available. The benchmark spans Isaac Sim synthetic generation, Cosmos Transfer appearance augmentation, and real-world Sim2Real evaluation. For the real-world target, we include two warehouse deployments with time-synchronized streams, automatic VGGT-based calibration, and a 3D labeling interface that projects world-frame 3D boxes into each view for cross-camera verification. We describe the dataset scope, annotation and calibration schema, generation workflow, benchmark protocols, and official evaluation system, which standardizes submission format, and leaderboard reporting. A central contribution is a 3D instantiation of Higher Order Tracking Accuracy (HOTA), extending the usual 2D box-based tracking evaluation to 3D locations and 3D boxes. We further report empirical baselines from the AI City Challenge leaderboards, showing how methods evolve from person-only 3D location tracking to multi-class 3D box tracking under realistic smart-space constraints. The release is available at https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리
Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection
라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.
GaussianBench: 가우시안 장면 표현을 위한 물리 충실도 평가
GaussianBench: Physics-Fidelity Evaluation for Gaussian Scene Representations
3D 가우시안 스플래팅(3D Gaussian Splatting)은 정적 재구성을 넘어 상호작용에 따라 장면이 어떻게 변화하는지 예측하기 위한 물리 통합형 표현으로 발전해 왔습니다. 이로 인해 평가 문제가 발생합니다. 즉, 롤아웃이 부정확한 내부 역학에 의존하면서도 그럴듯하게 보일 수 있으며, 관찰된 움직임과의 시각적 일치가 새로운 외력, 재질 편집, 접촉 또는 열적 개입에 대한 올바른 반응을 입증하지는 못합니다. 본 논문에서는 물리 통합형 가우시안 장면 표현을 위한 물리 충실도(physics-fidelity) 평가 스위트인 GaussianBench를 소개합니다. 이는 고정된 파일 기반 장면, 시뮬레이터 독립적인 채점기, 그리고 해석적(analytical) 또는 실측된 기준값을 사용합니다. 이 벤치마크는 보존 법칙, 연속체 반응, 이종 재질 간 결합, 가우시안 공분산 수송 및 렌더링, 열적 상변화, 반사실적 반응을 테스트합니다. 각 기준값은 유효 영역을 명시하며, 결과는 PASS, FAIL, NA, INVALID로 구분하여 물리적 실패를 미지원 기능 및 유효하지 않은 비교와 분리합니다. 또한 지속적인 3D 가우시안이 렌더링 프리미티브이자 연속체 재질 점으로 동시에 기능하는 열기계적(thermomechanical) 레퍼런스 모델인 GaussianFlesh를 제공하며, 이는 입자별 구성 방정식 디스패치 및 지속적 열·상태를 갖춘 공유 격자 MPM 솔버로 전진합니다. 본 논문은 공개된 6개의 외부 시스템인 PhysGaussian, GaussianFluent, OmniPhysGS, PhysDreamer, Physics3D, GASP를 평가합니다. 모든 시스템을 동일한 방식으로 테스트한 결과, 기존 자체 평가에서는 놓쳤던 실패 사례들이 드러났습니다. 특정 시스템은 단일 재질은 정확하게 시뮬레이션하지만 두 재질이 만나는 지점에서는 실패하거나, 실제로 생성하지도 않은 변형에 대해 가우시안을 올바르게 업데이트하기도 했습니다. 부합하는 결함 분석과 공차 감사를 통해 이러한 차이가 의도된 테스트에서 기인함을 확인했습니다. 따라서 물리 통합형 가우시안 시스템은 롤아웃이 그럴듯하게 보이는지뿐만 아니라 내부 물리 상태에 대해서도 반드시 검증되어야 합니다.
4DCodeBench: 동적 장면의 역 그래픽스에 대한 에이전트 벤치마킹
4DCodeBench: Benchmarking Agents on Inverse Graphics of Dynamic Scenes
본 논문에서는 에이전트(agent)가 비디오로부터 동적 장면을 실행 가능한 그래픽스 프로그램으로 재구성하는 코드 생성 기반의 4D 역 그래픽스(inverse graphics) 벤치마크인 4DCodeBench를 소개합니다. 이를 달성하기 위해 에이전트는 시각적 관측을 장면 구조와 동역학에 대한 간결한 표현으로 변환해야 하며, 물리 시뮬레이션과 같은 추상화를 구현하여 복잡한 동작을 재현해야 합니다. 이러한 역량을 평가하기 위해 변형, 유체 흐름, 파괴를 포함한 다양한 물리적 현상을 아우르는 실제 비디오 세트를 큐레이션하고 합성 장면을 구축했습니다. 프론티어 모델을 대상으로 광범위한 벤치마킹을 수행한 결과, 뛰어난 정적 재구성 능력이 복잡한 동역학의 신뢰성 있는 재구성으로 아직 직결되지는 않는다는 점을 발견했습니다. 4DCodeBench는 코드를 통해 세상의 동역학을 해석할 수 있는 에이전트의 발전 과정을 추적하기 위한 테스트베드를 제공합니다. 벤치마크는 https://github.com/4DCodeBench/4DCodeBench 에서 확인할 수 있습니다.
MoSE3: 모든 픽셀에서 월드 공간 SE(3) 학습하기
MoSE3: Learning World-Space SE(3) at Every Pixel
밀집 3D 포인트 트래킹(Dense 3D point tracking)은 동적 장면의 모션을 모델링하는 주요 패러다임이었으나, 포인트 트랙은 픽셀당 3자유도(3-DoF) 이동 궤적에 불과하여 픽셀의 이동 위치만을 포착할 뿐 해당 부위의 회전이나 어떤 픽셀들이 하나의 강체로 함께 움직이는지는 포착하지 못합니다. 본 논문에서는 단안 RGB 비디오로부터 밀집 SE(3) 모션을 예측하여 월드 공간의 모든 픽셀에서 완전한 6자유도(6-DoF) 강체 변환을 생성하는 최초의 피드포워드 모델인 MoSE3를 제안합니다. 픽셀별 SE(3) 모션은 회전, 이동 및 그룹화를 한 번에 제공하여 장면의 움직임에 대한 더욱 풍부한 시각을 제공합니다. SE(3)를 직접 예측하는 것은 어렵습니다. 회전은 유클리드 회귀에 적합하지 않은 곡면 다양체(curved manifold)에 놓여 있으며, SE(3) 어노테이션을 획득하기가 특히 까다롭기 때문입니다. 이러한 문제를 해결하기 위해 MoSE3는 함께 학습되는 두 가지 중간 매개체인 3D 포인트 트랙과 강체 임베딩(rigidity embedding)을 통해 픽셀별 SE(3)를 예측하며, 각 소프트 강체 클러스터 내에서 변환을 미분 가능하게 피팅하여 SE(3)를 복원함으로써 엔드투엔드 예측 및 지도를 가능하게 합니다. 데이터 격차를 해소하기 위해, 풍부한 물리적 상호작용을 갖는 관절체(articulated object)에 대한 밀집 SE(3) 및 강체 라벨을 포함하는 대규모 합성 데이터셋인 Art-Kubric을 소개합니다. MoSE3는 강체 및 관절체 벤치마크 모두에서 픽셀, 파트 및 객체 수준의 최첨단(state-of-the-art) SE(3) 추정 성능을 달성하고 3개 데이터셋에 걸쳐 최고 수준의 평균 3D 포인트 트래킹 정확도를 달성하는 동시에, 합성 모션 데이터로만 학습되었음에도 실제 비디오에 대해 뛰어난 일반화 성능을 보입니다.
ARROW: 인더와일드 환경에서 4D 관측의 임의 재구성 및 추적
ARROW: Arbitrary Reconstruction and Tracking of 4D Observations in the Wild
동적 장면은 움직이는 카메라, 다중 비디오 스트림, 또는 서로 다른 시점에 촬영된 이미지들로 캡처될 수 있습니다. 이러한 관측들은 장면 지오메트리 및 모션의 상호 보완적인 측면들을 드러내지만, 이를 하나로 통합하려면 시점, 캡처 시간, 가시성 변화 전반에 걸친 대응 관계(correspondence)를 확립해야 합니다. 본 논문에서는 임의의 이미지 세트로부터 3D 재구성(reconstruction)과 3D 포인트 추적(tracking)을 통합하는 피드포워드 모델인 ARROW를 소개합니다. 핵심은 임의의 입력 전반에서 쿼리와 관측을 연관 지을 수 있게 하는 새로운 순서 불변 쿼리(order-invariant querying) 접근 방식입니다. 저자들은 학습(training) 중에 모델(model)을 더욱 다양한 입력 세트에 노출시키는 것이 태스크 성능 향상으로 이어진다는 점을 보여줍니다. 또한, 이를 통해 도출된 모델은 다중 뷰 추적을 포함하여 더 넓은 범위의 태스크로 일반화할 수 있습니다. 이러한 전략으로 학습된 ARROW는 WorldTrack 및 TAPVid-3D에서 3D 추적 부문의 새로운 SOTA(state of the art)를 달성하고, 3D 재구성 태스크 전반에서 경쟁력을 유지하면서도 개작된 RGB 전용 MVTracker 벤치마크에서 전용 다중 뷰 트래커들의 성능을 능가합니다. 코드와 가중치는 공개되어 있습니다.
리더보드 점수를 넘어서: 보행자 중심 환경에서 해석 가능한 추적 평가를 위한 배포 중심 프로토콜
Beyond Leaderboard Scores: A Deployment-Focused Protocol for Interpretable Tracking Evaluation in Pedestrian-Centric Environments
보행자 사이에서 작동하는 모바일 로봇은 빠르게 가용해지고, 누락된 관측 속에서도 공간적 신뢰성을 유지하며, 동일성을 보존하고, 임베디드 컴퓨팅 예산 내에 부합하는 궤적을 필요로 합니다. 종합 추적 점수는 궤적이 언제 어떻게 실패하는지에 대한 통찰을 제한적으로만 제공하며, 서로 다른 검출기(detector) 입력은 추적기(tracker)와 검출기의 품질을 혼동시킬 수 있습니다. 본 논문에서는 공유된 검출 결과를 사용하여 추적기의 동작을 분리하고, 초기화(initialization), 검출기 공백 지속성, 동일성 복구, 근접 이웃 연관성, 부하 의존적 추적기 스텝 실행 시간을 직접 평가하는 배포 중심의 추적기 전용 평가 프로토콜을 제시하며, 보완적인 종합 척도로 HOTA(Higher Order Tracking Accuracy)를 유지합니다. 6개의 오픈 소스 추적기와 자체 개발한 경량 Pedestrian Reference Tracker(PedRefTrack), 그리고 이상적인 연관 및 모션 하에서 추적기 측 잔여 격차를 추정하는 GT 보조 변형을 사용하여 JackRabbot 데이터셋 및 벤치마크(JRDB)에 이 프로토콜을 적용합니다. 고정된 검출 조건에서 GT를 사용하지 않는 추적기들은 24.26%~29.67%의 좁은 HOTA 범위에 머물렀지만, 뚜렷하게 다른 능력 프로파일을 나타냈습니다. 검출기 지원 없이 1.0초가 지난 후, GT 보조가 없는 어떤 추적기도 적격 사례의 절반 이상에서 공간적으로 정확하고 동일한 동일성의 출력을 유지하지 못하여, 누락된 관측 지속성이 테스트된 특성 중 가장 주요한 한계점으로 나타났습니다. 근접 이웃 실패는 더 적었으며 주로 가장 가까운 분리 거리에서 증가했습니다. NVIDIA Jetson Orin에서의 추적기 스텝 실행 시간은 꼬리가 길고(heavy-tailed) 부하에 민감하여 혼잡한 프레임에서 여러 추적기가 10 Hz 실시간 목표치 이하로 떨어졌습니다. 본 프로토콜은 보행자 중심 환경에서 추적기의 동작과 배포 적합성을 특성화할 수 있는 재현 가능한 방법을 제공합니다. 코드 및 평가 스크립트는 https://github.com/SCAI-Lab/tracker_eval 에 공개되어 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted at NeurIPS 2026, Evaluations & Datasets Track (poster)