arXiv:2606.07233v1 cs.CV

외형이 도움이 되는가? 온라인 3D 다중 보행자 추적에서의 이미지 기반 재식별에 대한 체계적 연구

Does Appearance Help? A Systematic Study of Image-Based Re-Identification in Online 3D Multi-Pedestrian Tracking

Eduardo Borges, Luís Garrote, Urbano J. Nunes

제출 2026-06-05

한국어 초록

LiDAR 기반 3D 다중 객체 추적(MOT)은 일반적으로 기하학적 정보에만 의존하며, 이는 장기간의 폐색이나 인구가 밀집한 환경에서 대상을 구별하는 데 종종 부족합니다. RGB 기반 재식별(ReID)을 통합하는 것은 정체성 컨텍스트를 보존하는 이론적 해결책을 제공하지만, 기존 접근 방식은 종종 계산 비용이 많이 드는 병렬 검출기에 의존하여 실시간 로봇 반응성을 저해합니다. 본 연구는 모바일 로봇을 위해 기하학적 및 외형 모델링을 분리하는 경량의 투영 기반 프레임워크를 활용하여, 온라인 3D MOT에서 이미지 기반 ReID에 대한 체계적인 연구를 제시합니다. 경량의 합성곱 신경망(CNN)과 비전 트랜스포머(Vision Transformers)를 사용하고, 계산 지연 시간과 강건한 추적 간의 균형을 맞추기 위해 다양한 다중 모달 데이터 연관 전략을 평가하여 특징 추출 아키텍처에 대한 포괄적인 분석을 수행했습니다. KITTI 데이터셋의 보행자 클래스에 대한 실험 결과, 외형 및 모션 비용의 단순한 선형 융합은 시각적 노이즈로 인해 성능을 저하시키는 것으로 나타났습니다. 반대로, 캐스케이드 매칭 전략은 전체 정밀도를 저해하지 않으면서 가려진 트랙을 성공적으로 복구하여, 인간-로봇 상호작용의 연속성을 유지하기 위해 ID 전환을 효과적으로 방지합니다. 본 연구는 경량 아키텍처가 안전한 내비게이션에 필요한 낮은 지연 시간과 사회적 인식에 필요한 식별력 사이의 최적의 상충 관계를 제공할 수 있음을 보여줍니다.

원문 초록

LiDAR-based 3D Multi-Object Tracking (MOT) typically relies solely on geometric information, which is often insufficient to distinguish between targets during prolonged occlusions or in crowded human-populated environments. While integrating RGB-based Re-Identification (ReID) offers a theoretical solution for preserving identity context, existing approaches often rely on computationally expensive parallel detectors that hinder real-time robot responsiveness. This work presents a systematic study of image-based ReID in online 3D MOT, utilizing a lightweight projection-based framework to decouple geometric and appearance modeling for mobile robots. A comprehensive analysis of feature extraction architectures is conducted, employing lightweight CNNs and Vision Transformers, and evaluating various multi-modal data association strategies to balance computational latency with robust tracking. Experiments on the Pedestrian class of the KITTI dataset reveal that naive linear fusion, of appearance and motion costs, degrades performance due to visual noise. Conversely, a cascaded matching strategy successfully recovers occluded tracks without compromising overall precision, effectively preventing identity switches to maintain human-robot interaction continuity. We show that lightweight architectures can offer an optimal trade-off between the low latency required for safe navigation and the discriminative power needed for social awareness.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.07233v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02580v1cs.CV공통 태그 Person Re-Identification, Object Tracking

Physical AI Smart Spaces: 스마트 공간에서의 다중 카메라 3D 인식을 위한 대규모 벤치마크

Physical AI Smart Spaces: A Large-Scale Benchmark for Multi-Camera 3D Perception in Smart Spaces

Physical AI Smart Spaces는 우리가 아는 한 실내 스마트 공간을 대상으로 대규모, 다중 클래스(multi-class), 다중 카메라 3D 인식(3D perception) 데이터를 동시에 제공하는 최초의 벤치마크이다. 이 데이터셋은 물류창고, 병원, 소매점 및 이와 유사한 환경에서 약 1,800대의 카메라로 촬영한 280시간 이상의 동기화된 1080p 영상과 함께, 다중 카메라 식별자(ID), 2D 바운딩 박스, 3D 바운딩 박스, 카메라 캘리브레이션, 그리고 가능한 경우 깊이(depth) 정보에 대한 자동 주석(annotation)을 포함한다. 본 벤치마크는 Isaac Sim 기반 합성 데이터 생성, Cosmos Transfer 외형 증강(appearance augmentation), 그리고 실제 환경에서의 Sim2Real 평가를 아우른다. 실제 대상 환경을 위해, 시간 동기화된 스트림, 자동 VGGT 기반 캘리브레이션, 그리고 교차 카메라 검증을 위해 월드 좌표계(world-frame) 3D 박스를 각 뷰에 투영하는 3D 라벨링 인터페이스를 갖춘 두 곳의 물류창고 배포 환경을 포함한다. 우리는 데이터셋 범위, 주석 및 캘리브레이션 스키마, 생성 워크플로우, 벤치마크 프로토콜, 그리고 제출 형식과 리더보드 보고를 표준화한 공식 평가 시스템을 설명한다. 핵심 기여 중 하나는 기존의 2D 박스 기반 추적 평가를 3D 위치 및 3D 박스로 확장한 HOTA(Higher Order Tracking Accuracy)의 3D 구현이다. 나아가 AI City Challenge 리더보드의 실증적 베이스라인을 보고하여, 현실적인 스마트 공간 제약 조건 하에서 방법론들이 인물 전용 3D 위치 추적에서 다중 클래스 3D 박스 추적으로 어떻게 발전하는지 보여준다. 공개된 데이터셋은 https://huggingface.co/datasets/nvidia/PhysicalAI-SmartSpaces 에서 확인할 수 있다.

arXiv:2609.39841v2cs.CV공통 태그 Autonomous Driving, Object Tracking

DyRAD: 동적 주행 장면을 위한 레이더 신규 시점 합성

DyRAD: Radar Novel View Synthesis for Dynamic Driving Scenes

기록된 센서 데이터로부터 동적 주행 장면을 재구성하는 기술은 기존 주행 궤적을 벗어난 관측값을 합성함으로써 자율주행 시스템의 폐루프(closed-loop) 평가를 지원합니다. 카메라 및 라이다(LiDAR)와 달리, 레이더는 도플러(Doppler) 효과를 통해 시선 방향 속도(radial velocity)를 직접 측정합니다. 그러나 기존 레이더 신규 시점 합성(novel-view synthesis) 방식들은 이러한 역량을 제대로 활용하지 못하고 있습니다. 동적 장면을 다루는 방법들은 거리-방위각(range-azimuth) 텐서만을 재구성하는 반면, 도플러를 렌더링하는 방법들은 정적 장면만을 가정합니다. 더욱이 레이더 신호 처리 특성상 각 반사 신호가 여러 빈(bin)에 걸쳐 퍼지기 때문에, 기존 표현 방식들은 이러한 번짐 효과를 장면 기하 구조에 흡수하여 시점이 이동할 때 왜곡된 렌더링을 유발합니다. 본 논문에서는 정적 배경 반사체와 움직임이 추적되는 동적 점 반사체를 활용해 동적 주행 장면을 모델링하고 완전한 거리-방위각-도플러(RAD) 텐서를 렌더링하는 DyRAD를 제안합니다. 반사체의 속도는 객체 추적 궤적으로부터 유도되어 시선 방향으로 투영되므로, 도플러는 렌더링된 출력이자 해당 추적을 위한 감독(supervision) 신호로 동시에 기능합니다. 결정적으로, 레이더의 신호 처리 체인에서 유도된 고정된 해석적 점 확산 함수(PSF)를 통해 반사체를 렌더링함으로써 센서로 인한 번짐이 장면 표현에 영구적으로 반영되는 것을 방지합니다. 이러한 분리는 장면 재구성 성능을 향상시킬 뿐만 아니라 제로샷(zero-shot) 센서 구성 전이를 가능하게 하여, 재적합(refitting) 과정 없이도 동일하게 재구성된 장면을 서로 다른 레이더 사양 하에서 렌더링할 수 있도록 지원합니다. 저자들은 선행 연구에서 검증되지 않은 경로 상 포즈 및 위치가 이동된 시점 모두를 아우르며 RADIal, Boreas 및 합성 벤치마크에서 DyRAD를 평가(evaluation)합니다. RADIal 데이터셋에서 DyRAD는 가장 강력한 기준선(baseline)의 26.9% 대비 90.7%의 기준 감지 객체에서 레이더 검출을 복원해 냅니다.

arXiv:2610.01750v1cs.CV공통 태그 Autonomous Driving, Object Tracking

FFBL-Coop: 연관 분리형 협력형 3D 다중 객체 추적

FFBL-Coop: Association-Decoupled Cooperative 3D Multi-Object Tracking

협력형 3D 추적은 일관된 식별자(ID)를 유지하면서 여러 에이전트와 시간에 걸친 상호보완적인 관측 정보를 통합해야 합니다. 증거 통합과 식별자 상속이 동일한 매칭 결정을 공유할 경우, 시점 간 외형 차이 및 공간적 불일치로 인해 발생하는 오류가 특징 융합과 트랙 연속성을 모두 저해할 수 있습니다. 본 논문에서는 인스턴스 수용과 식별자 관리를 분리하는 선 융합 후 결합(fuse first, bind later) 프레임워크인 FFBL-Coop을 제안합니다. 신뢰도 순위 슬롯 수용(CSA)은 신뢰도와 공간적 근접성을 바탕으로 협력 쿼리를 사용 가능한 자차(ego) 슬롯에 할당합니다. 통합 표현 집약(URA)은 협력 의미 특징과 정렬된 앵커를 활용해 자차 특징 검색을 유도하며, 공유 트랜스포머 디코더 내에서 증강된 쿼리 뱅크를 정제합니다. 정제 후 협력 우선 식별자 앵커링(CPIA)은 학습된 연관성과 지속적인 매핑을 결합하여 프레임 전반에 걸쳐 수용된 식별자 할당을 확립합니다. 공유 코드북은 전송 페이로드를 줄이면서도 압축되지 않은 버전과 유사한 수준의 AP 및 AMOTA를 유지합니다. FFBL-Coop은 V2X-Seq에서 0.611/0.548, Griffin-25M에서 0.688/0.653의 AMOTA/AP를 달성합니다. 코드는 공개될 예정입니다.

arXiv:2610.01905v1cs.CV공통 태그 Autonomous Driving, Computational Efficiency

MapLightning: 1D 맵 토큰을 활용한 온라인 벡터화 고정밀 지도(HD Map) 구축

MapLightning: Online Vectorized HD Map Construction with 1D Map Tokens

온라인 벡터화 고정밀 지도(HD Map) 구축은 안전한 자율주행의 확장을 위해 필수적이며, 정확한 실시간 추론(inference)을 요구합니다. 기존 방식들은 주로 중간 표현으로 조감도(BEV, Bird's-Eye-View) 격자에 의존합니다. 본 논문에서는 조밀한 BEV 격자를 압축된 1D 학습형 맵 토큰 세트로 대체하는 MapLightning을 제안합니다. 이미지 특징으로부터 맵 토큰을 구성하기 위해, 일반적인 크로스 어텐션 대신 셀프 어텐션(self-attention)을 채택하여 이미지 토큰과 맵 토큰 간의 결합 상호작용 및 문맥적 집계를 가능하게 합니다. 제안하는 트랜스포머(transformer) 기반 매퍼는 맵 토큰과 이미지 토큰을 연결(concatenate)하고 전체 셀프 어텐션을 적용한 후, 이미지 토큰은 버리고 업데이트된 맵 토큰만 유지하여 디코딩에 활용합니다. 이러한 설계는 세 가지 이점을 제공합니다. 첫째, 제안하는 표현 방식은 더 적은 수의 토큰을 사용하여 메모리 소모를 줄이고 더 빠르게 동작하므로 효율적입니다. 둘째, 경량화된 설계를 통해 맵 디코더가 변형 가능한(deformable) 크로스 어텐션 대신 완전한 크로스 어텐션을 사용하여 더 우수한 전역 문맥을 활용할 수 있습니다. 셋째, BEV 기반 방식과 달리 카메라 투영 파라미터를 사용하지 않아 카메라 외란(extrinsic perturbation)에 견고합니다. MapLightning은 조밀한 BEV 기반 방식 대비 최대 16.7배 적은 중간 토큰을 사용하며, nuScenes 및 Argoverse 2 벤치마크에서 최고 수준의 정확도와 효율성을 달성합니다. 경량 버전은 nuScenes에서 +10.1 mAP, Argoverse 2에서 +16.2 mAP만큼 MapTRv2를 능가하는 동시에, 53% 적은 메모리로 1.73배 빠른 추론 속도(40+ FPS)를 제공합니다. 나아가 불확실성을 인지하는 지도 구축 및 다운스트림 경로 예측에서도 개선 효과를 입증합니다. 코드와 모델은 공개될 예정입니다.

arXiv:2609.27509v1cs.CV공통 태그 Autonomous Driving, Object Tracking

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2609.28064v1cs.AI공통 태그 Autonomous Driving, Computational Efficiency

SlackDrive: 적응형 주행 추론을 위한 런타임 슬랙 회수

SlackDrive: Reclaiming Runtime Slack for Adaptive Driving Inference

주행 world-action 모델은 다중모달 추론과 미래 예측을 결합해 계획(planning)을 개선하지만, 커지는 추론 비용은 차량 제어의 실시간 지연(latency) 요구와 점점 더 충돌한다. 기존 가속 방법은 배포 전에 선택된 정책으로 토큰, 레이어, 또는 샘플링 단계를 줄이지만, 공유 온보드 컴퓨트에서 오프라인 프로파일링과 정적 스케줄링 이후 잔여 런타임 변동은 대부분 활용하지 못한다. 우리는 허용 가능한 최대 컴퓨트 예산이 잔여 런타임 상태에 따라 체계적으로 달라지며, 최근 실현 지연(latency)이 가용 컴퓨트 슬랙(slack)에 대한 직접적인 신호를 제공함을 관찰한다. 이 관찰에 기반해, 우리는 실현 지연을 재사용하여 모델 실행 전 각 제어 단계의 컴퓨트 예산을 고르는 추론 전(pre-inference) 컴퓨트 할당기 SlackDrive를 제안한다. SlackDrive는 작은 이산 예산 집합에 대한 지연과 계획(planning) 유틸리티를 한 번 프로파일링하고, 완료된 forward로부터 온라인 컴퓨트 상태를 추정하며, 허용 가능한 지연(latency) envelope 안에 남을 것으로 예측되는 최고 유틸리티 예산을 선택해 주행 백본과 그 컴퓨트 액추에이터는 유지한 채 기존 프로파일링 및 리소스 스케줄링을 보완한다. NAVSIM v2에서 DriveDreamer-Policy와 함께 평가할 때 SlackDrive는 엄격한 지연 체제 하에서 최강 기준선 대비 지연 제약 EPDMS를 21.7% 개선했으며, 전체 예산 모델과 사전 구성된 토큰 가지치기 기준선은 런타임 경합 하에서 허용 가능한 지연 envelope를 초과했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.