arXiv:2309.06313

Semantic and Articulated Pedestrian Sensing Onboard a Moving Vehicle

Maria Priisalu

제출 2023-09-12

원문 초록

It is difficult to perform 3D reconstruction from on-vehicle gathered video due to the large forward motion of the vehicle. Even object detection and human sensing models perform significantly worse on onboard videos when compared to standard benchmarks because objects often appear far away from the camera compared to the standard object detection benchmarks, image quality is often decreased by motion blur and occlusions occur often. This has led to the popularisation of traffic data-specific benchmarks. Recently Light Detection And Ranging (LiDAR) sensors have become popular to directly estimate depths without the need to perform 3D reconstructions. However, LiDAR-based methods still lack in articulated human detection at a distance when compared to image-based methods. We hypothesize that benchmarks targeted at articulated human sensing from LiDAR data could bring about increased research in human sensing and prediction in traffic and could lead to improved traffic safety for pedestrians.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01283v1cs.CV공통 태그 Object Detection, 3D Reconstruction

ShelfChange3D: 소매점 진열대 모니터링을 위한 객체 수준 3D 변화 감지

ShelfChange3D: Object-Level 3D Change Detection for Retail Shelf Monitoring

신뢰할 수 있는 진열대 모니터링은 소매점 자동화에 중요한 역량이지만, 기존의 품절 감지 방법은 주로 이미지 공간에서 작동하여 다운스트림 로봇 시스템을 위한 미터법 기준의 3D 위치 추정이 부족합니다. 본 연구는 진열대 모니터링을 객체 수준의 3D 변화 감지 문제로 공식화합니다. 서로 다른 시점에 촬영된 두 개의 RGB-D 관측치가 주어졌을 때, 목표는 변경된 상품을 식별하고 각 변화를 3D 경계 상자(bounding box)로 위치를 특정하는 것입니다. 이 작업을 지원하기 위해 객체 수준 3D 변화 어노테이션을 갖춘 14만 5천 개의 합성 및 5천 개의 실제 페어링된 RGB-D 관측치로 구성된 ShelfChange3D를 소개합니다. 또한, 쌍을 이루는 관측치에 대해 공동 추론하고 객체 수준의 3D 변화 상자를 예측하는 엔드투엔드(end-to-end) 프레임워크인 ChangeBox를 제안합니다. 위치 추정 정확도를 개선하기 위해, 깊이와 중력 사전 정보를 활용하여 상대적 포즈를 추정하고 예측된 상자를 정교화하는 기하학 기반 정제 단계를 도입합니다. 실험 결과 ChangeBox는 기존의 변화 감지 베이스라인보다 우수한 성능을 보였으며, 정제 단계를 통해 추가적인 성능 향상을 달성하고 합성 데이터에서 실제 관측치로 효과적인 전이가 이루어짐을 보여줍니다.

arXiv:2607.22731v1cs.CV공통 태그 Object Detection, 3D Reconstruction

실내 환경을 위한 보정 불필요 3D 다중 카메라 사람 추적

Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment

다중 카메라 사람 추적(MCPT)은 전통적으로 2D 검출 결과를 통합된 3D 월드 좌표계로 투영하기 위해 정밀한 카메라 내부 및 외부 보정에 의존한다. 그러나 수동 보정은 제약 없는 영상 아카이브로부터 대규모 데이터셋을 생성하는 데 주요 병목이 된다. 본 연구는 딥 파운데이션 모델을 사용하여 시각 데이터로부터 기하 구조를 직접 추론하는 통합 보정 불필요 3D MCPT 프레임워크를 제안한다. 시스템은 앵커-프리 검출(YOLOX), 강건한 추적(BoT-SORT), 전 스케일 외형 임베딩(OsNet), 자세 추정(MMPose를 통한 HRNet), Visual Geometry Grounded Transformer(VGGT)를 이용한 트랜스포머 기반 기하 재구성을 통합한다. 자세 유도 3D 리프팅 전략은 머리 키포인트를 재구성된 매니폴드에 투영하여 지면 평면 호모그래피(ground-plane homography)에 대한 의존을 제거한다. 전역 신원 연관은 엄격한 속도 게이팅을 적용한 외형-기하 결합 비용 하에서 계층적 응집 클러스터링으로 공식화된다. AI City Challenge 2024에서의 평가는 ground-truth 보정 행렬에 접근하지 않고 HOTA 점수 53.13%를 달성하여, 순수 비전 기반 3D 추적을 위한 강력한 기준선을 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.