MVSTF: 라이다 기반 이동 객체 분할을 위한 다중 시점 시공간 융합
MVSTF: Multi-View Spatio-Temporal Fusion for LiDAR-Based Moving Object Segmentation
한국어 초록
자율 이동 로봇은 동적 환경에서 객체의 움직임 특성을 파악하는 데 큰 어려움을 겪는다. 기존 방법에는 경계의 모호성, 가려짐, 시점의 제약, 복잡한 학습 과정 등의 한계가 있다. 본 연구는 점군 시퀀스로 다중 시점 이미지와 특징 차이를 만들고, 여러 분기를 통해 시공간 특징과 차원별 특징을 병렬로 추출해 이동 객체를 정밀하게 분할하는 종단 간 다중 시점 시공간 융합 신경망 MVSTF를 제안한다. 먼저 연속된 점군에서 다중 시점 이미지와 특징 차이를 구한다. 이어 이중 다운샘플링 블록(DDB), 공간 어텐션 블록(SAB), 다중 커널 합성곱 신경망 블록(MKCNN), 이중 특징 융합 블록(DFFB), 점 융합 모듈(PF)을 포함한 종단 간 다중 분기 신경망을 구성한다. 특징 차이에서는 움직임 특징을, 다중 시점 이미지에서는 기하 및 의미 특징을 추출한다. 마지막으로 보조 의미 헤드를 도입해 알고리즘의 강건성과 모델의 해석 가능성을 높인다. SemanticKITTI와 KITTI-Road 벤치마크에서 검증했다. SemanticKITTI MOS 검증 세트와 KITTI-Road 검증 세트에서 최고 성능을 기록했고, 비공개 SemanticKITTI-MOS 테스트 세트에서도 경쟁력 있는 결과를 얻었다. 코드는 https://github.com/ZhouJJ111/MVSTF 에서 제공한다.
원문 초록
Autonomous mobile robots confront significant chal lenges in recognizing the motion properties of objects in dy namic environments. However, existing methods are hindered by limitations such as boundary ambiguity, occlusion, viewpoint constraints, and training complexity. In this paper, we propose an innovative end-to-end Multi-View Spatio-Temporal Fusion network, named MVSTF, which utilizes sequential point clouds to generate multi-view images and feature differences, and designs a multi-branch network to extract spatio-temporal and dimen sional features in parallel, and realizes high-precision moving object segmentation. First, sequential point clouds are utilized to generate multi-view images and feature differences. Then, an end-to-end multi-branch network including Dual Down-sampling Blocks (DDB), Spatial Attention Blocks (SAB), Multi-Kernel Convolutional Neural Network blocks (MKCNN), Dual Feature Fusion Blocks (DFFB), and the Point Fusion (PF) module, is designed to extract motion features from feature differences and geometric and semantic features from multi-view images. Finally, an auxiliary semantic head is introduced to further improve the algorithm's robustness and the model's interpretability. This work is validated on the SemanticKITTI and KITTI-Road bench marks, achieving state-of-the-art results on the SemanticKITTI MOS validation set and the KITTI-Road validation set, and competitive results on the hidden SemanticKITTI-MOS test set. The code is available at https://github.com/ZhouJJ111/MVSTF.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20872v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.