Large-scale 3D point cloud representations via graph inception networks with applications to autonomous driving
원문 초록
We present a novel graph-neural-network-based system to effectively represent large-scale 3D point clouds with the applications to autonomous driving. Many previous works studied the representations of 3D point clouds based on two approaches, voxelization, which causes discretization errors and learning, which is hard to capture huge variations in large-scale scenarios. In this work, we combine voxelization and learning: we discretize the 3D space into voxels and propose novel graph inception networks to represent 3D points in each voxel. This combination makes the system avoid discretization errors and work for large-scale scenarios. The entire system for large-scale 3D point clouds acts like the blocked discrete cosine transform for 2D images; we thus call it the point cloud neural transform (PCT). We further apply the proposed PCT to represent real-time LiDAR sweeps produced by self-driving cars and the PCT with graph inception networks significantly outperforms its competitors.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
JustDepth: 단일 스캔 LiDAR 지도를 활용한 실시간 레이더-카메라 깊이 추정
JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision
자율주행 시스템에서 레이더-카메라 인식을 위해 정확하면서도 낮은 지연의 깊이 추정이 필수적이다. 카메라는 풍부한 외관 정보를 제공하지만 메트릭 스케일이 부족한 반면, 자동차용 레이더는 메트릭 거리 정보를 제공하지만 희소하고 노이즈가 많다. 많은 파이프라인은 다단계 구조이거나 보조 어노테이션에 의존하여 지연을 증가시키고 이식성을 제한한다. 본 연구에서는 레이더, 카메라, 단일 스캔 LiDAR만으로 학습되는 단일 단계 레이더-카메라 깊이 추정기 JustDepth를 제안한다. 모든 레이더 반사값은 고정 너비 1D 표현으로 집계되어 런타임이 포인트 수와 분리된다. Height Fusion Block이 모달리티를 융합하고, 경량 GNN이 깊이를 전역적으로 전파하며, 학습 전용 신뢰도 디코더가 테스트 시 추가 비용 없이 학습을 안정화한다. 간단한 증강을 통해 줄무늬 아티팩트를 완화하고, 수직-수평 그래디언트 비율(Vertical-Horizontal Gradient Ratio, VHGR)로 이를 정량화한다. nuScenes에서 최근 최신 방법들과 비교했을 때 JustDepth는 정확도를 유지하면서 추론 시간을 39.7배 단축하고 VHGR 기준 줄무늬 아티팩트를 66% 감소시킨다.
HERMES: 신호 교차로에서의 교통 충돌 예측을 위한 이질적 엣지-관계 다중 헤드 임베디드 SSM 어텐션
HERMES: Heterogeneous Edge-Relational Multi-Head Embedded SSM Attention for Traffic Conflict Prediction at Signalized Intersections
대리 안전 지표(SSM, surrogate safety measures)는 사전적 교통 안전 평가를 가능하게 하지만, 기존 방법의 다수는 쌍방(pairwise) 상호작용을 독립적으로 평가하거나 다중 에이전트 장면을 고정된 특징 벡터로 평탄화하여, 이질적 상호작용 구조와 변화하는 장면 수준 위험을 표현하는 능력을 제한한다. 본 연구는 교통 충돌 평가를 시간적 이질적 장면 그래프(scene-graph) 분류로 공식화하고, SSM 기반 다중 헤드 어텐션을 갖춘 이질적 엣지-관계 그래프 신경망인 HERMES를 제안한다. 차량과 보행자는 이질적 노드로 표현되고, 차량-차량, 차량-보행자, 보행자-보행자 상호작용은 연속적인 운동학적 및 대리 안전 특징(descriptors)을 갖는 관계별 엣지로 인코딩된다. 관계별 어텐션, 동적 노드-엣지 업데이트, 안전 인식 그래프 풀링, 시간적 시퀀스 학습을 함께 사용하여 장면 수준 충돌 확률을 추정한다. HERMES는 신호가 있는 도시 교차로에서 궤적 기반으로 수집한 109,028개 시퀀스로 평가되었고, 독립적으로 수집한 유사 교차로 데이터셋에서 검증되었다. 강화된 HERMES는 AUC-ROC 0.9898 +/- 0.0013, AUC-PR 0.9412 +/- 0.0067, F1 점수 0.8449 +/- 0.0103을 달성했다. 5% 오경보율에서 충돌 시퀀스의 95.7%를 탐지하여, 가장 강력한 트랜스포머 기준선과 XGBoost를 능가했다. 제로샷(zero-shot) 외부 평가에서 HERMES는 AUC-ROC 0.9752, AUC-PR 0.7829를 달성했다. 공동 소스-타깃 학습은 제한된 타깃 현장 데이터에서도 타깃 현장 성능을 추가로 개선했다. 이러한 결과는 이질적 상호작용 위상, 안전 정보를 반영한 엣지 의미론, 단기 시간적 진화를 보존하는 것이 장면 수준 충돌 분류를 향상시키고 신호 교차로에서 전이 가능한 도로변 안전 모니터링을 지원함을 보여준다.
Intelligent Resource Allocation in Joint Radar-Communication With Graph Neural Networks
Pixel Level Segmentation Based Drivable Road Region Detection and Steering Angle Estimation Method for Autonomous Driving on Unstructured Roads
Localization and Perception for Control and Decision Making of a Low Speed Autonomous Shuttle in a Campus Pilot Deployment
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.