PCGen: Point Cloud Generator for LiDAR Simulation
원문 초록
Data is a fundamental building block for LiDAR perception systems. Unfortunately, real-world data collection and annotation is extremely costly & laborious. Recently, real data based LiDAR simulators have shown tremendous potential to complement real data, due to their scalability and high-fidelity compared to graphics engine based methods. Before simulation can be deployed in the real-world, two shortcomings need to be addressed. First, existing methods usually generate data which are more noisy and complete than the real point clouds, due to 3D reconstruction error and pure geometry-based raycasting method. Second, prior works on simulation for object detection focus solely on rigid objects, like cars, but VRUs, like pedestrians, are important road participants. To tackle the first challenge, we propose FPA raycasting and surrogate model raydrop. FPA enables the simulation of both point cloud coordinates and sensor features, while taking into account reconstruction noise. The ray-wise surrogate raydrop model mimics the physical properties of LiDAR's laser receiver to determine whether a simulated point would be recorded by a real LiDAR. With minimal training data, the surrogate model can generalize to different geographies and scenes, closing the domain gap between raycasted and real point clouds. To tackle the simulation of deformable VRU simulation, we employ SMPL dataset to provide a pedestrian simulation baseline and compare the domain gap between CAD and reconstructed objects. Applying our pipeline to perform novel sensor synthesis, results show that object detection models trained by simulation data can achieve similar result as the real data trained model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ShelfChange3D: 소매점 진열대 모니터링을 위한 객체 수준 3D 변화 감지
ShelfChange3D: Object-Level 3D Change Detection for Retail Shelf Monitoring
신뢰할 수 있는 진열대 모니터링은 소매점 자동화에 중요한 역량이지만, 기존의 품절 감지 방법은 주로 이미지 공간에서 작동하여 다운스트림 로봇 시스템을 위한 미터법 기준의 3D 위치 추정이 부족합니다. 본 연구는 진열대 모니터링을 객체 수준의 3D 변화 감지 문제로 공식화합니다. 서로 다른 시점에 촬영된 두 개의 RGB-D 관측치가 주어졌을 때, 목표는 변경된 상품을 식별하고 각 변화를 3D 경계 상자(bounding box)로 위치를 특정하는 것입니다. 이 작업을 지원하기 위해 객체 수준 3D 변화 어노테이션을 갖춘 14만 5천 개의 합성 및 5천 개의 실제 페어링된 RGB-D 관측치로 구성된 ShelfChange3D를 소개합니다. 또한, 쌍을 이루는 관측치에 대해 공동 추론하고 객체 수준의 3D 변화 상자를 예측하는 엔드투엔드(end-to-end) 프레임워크인 ChangeBox를 제안합니다. 위치 추정 정확도를 개선하기 위해, 깊이와 중력 사전 정보를 활용하여 상대적 포즈를 추정하고 예측된 상자를 정교화하는 기하학 기반 정제 단계를 도입합니다. 실험 결과 ChangeBox는 기존의 변화 감지 베이스라인보다 우수한 성능을 보였으며, 정제 단계를 통해 추가적인 성능 향상을 달성하고 합성 데이터에서 실제 관측치로 효과적인 전이가 이루어짐을 보여줍니다.
실내 환경을 위한 보정 불필요 3D 다중 카메라 사람 추적
Calibration-Free 3D Multi-Camera People Tracking for Indoor Environment
다중 카메라 사람 추적(MCPT)은 전통적으로 2D 검출 결과를 통합된 3D 월드 좌표계로 투영하기 위해 정밀한 카메라 내부 및 외부 보정에 의존한다. 그러나 수동 보정은 제약 없는 영상 아카이브로부터 대규모 데이터셋을 생성하는 데 주요 병목이 된다. 본 연구는 딥 파운데이션 모델을 사용하여 시각 데이터로부터 기하 구조를 직접 추론하는 통합 보정 불필요 3D MCPT 프레임워크를 제안한다. 시스템은 앵커-프리 검출(YOLOX), 강건한 추적(BoT-SORT), 전 스케일 외형 임베딩(OsNet), 자세 추정(MMPose를 통한 HRNet), Visual Geometry Grounded Transformer(VGGT)를 이용한 트랜스포머 기반 기하 재구성을 통합한다. 자세 유도 3D 리프팅 전략은 머리 키포인트를 재구성된 매니폴드에 투영하여 지면 평면 호모그래피(ground-plane homography)에 대한 의존을 제거한다. 전역 신원 연관은 엄격한 속도 게이팅을 적용한 외형-기하 결합 비용 하에서 계층적 응집 클러스터링으로 공식화된다. AI City Challenge 2024에서의 평가는 ground-truth 보정 행렬에 접근하지 않고 HOTA 점수 53.13%를 달성하여, 순수 비전 기반 3D 추적을 위한 강력한 기준선을 확립한다.
KnowZRel: Common Sense Knowledge-based Zero-Shot Relationship Retrieval for Generalised Scene Graph Generation
Universal Fine-grained Visual Categorization by Concept Guided Learning
DROPEX: Disaster Rescue Operations and Probing using EXpert drones
A Confidence-Aware Matching Strategy For Generalized Multi-Object Tracking
토론
이 논문과 연결된 포럼 글이 아직 없습니다.