PointFlowNet: Learning Representations for Rigid Motion Estimation from Point Clouds
원문 초록
Despite significant progress in image-based 3D scene flow estimation, the performance of such approaches has not yet reached the fidelity required by many applications. Simultaneously, these applications are often not restricted to image-based estimation: laser scanners provide a popular alternative to traditional cameras, for example in the context of self-driving cars, as they directly yield a 3D point cloud. In this paper, we propose to estimate 3D motion from such unstructured point clouds using a deep neural network. In a single forward pass, our model jointly predicts 3D scene flow as well as the 3D bounding box and rigid body motion of objects in the scene. While the prospect of estimating 3D scene flow from unstructured point clouds is promising, it is also a challenging task. We show that the traditional global representation of rigid body motion prohibits inference by CNNs, and propose a translation equivariant representation to circumvent this problem. For training our deep network, a large dataset is required. Because of this, we augment real scans from KITTI with virtual objects, realistically modeling occlusions and simulating sensor noise. A thorough comparison with classic and learning-based techniques highlights the robustness of the proposed approach.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Holistic Fusion: 팩터 그래프 기반 작업 및 설정에 구애받지 않는 로봇 위치 추정 및 상태 추정
Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs
도전적인 환경에서 이동 로봇의 원활한 운용을 위해서는 저지연 국소 운동 추정과 정확한 전역 위치 추정이 필요하다. 대부분의 센서 융합(sensor fusion) 접근법은 특정 시나리오를 위해 설계되지만, 본 연구는 일반성과 사용성을 특징으로 하는 작업 및 설정에 구애받지 않는 다중모달 센서 융합을 위한 유연한 오픈소스 솔루션을 제안한다. Holistic Fusion은 센서 융합을 i) 국소 및 전역 로봇 상태와 ii) (이론적으로 무제한적인 수의) 동적 변수(기준 좌표계의 자동 정렬 포함)의 결합 추정 문제로 공식화한다. 이 공식화는 개념적 수정 없이 수많은 실세계 응용에 적용 가능하며, 하드코딩된/작업 특화 접근법을 넘어서는 포괄적 솔루션을 제공한다. 제안된 팩터 그래프(factor graph) 공식화는 서로 다른 좌표계에 대해 표현된 임의 개수의 절대, 국소, 랜드마크(landmark) 측정값을 최적화(optimization)의 상태로 명시적으로 포함하고 그 진화를 랜덤 워크(random walk)로 모델링함으로써 직접 융합할 수 있게 한다. 또한 추정 점프를 방지하기 위해 국소적 평활성과 일관성에 특별한 주의를 기울인다. Holistic Fusion은 일반적인 로봇 하드웨어에서 저지연且 부드러운 온라인 상태 추정을 가능하게 하면서 동시에 IMU 측정 속도에서 저드리프트(low-drift) 전역 위치 추정을 제공한다. 공개된 이 프레임워크 [1]의 효과는 서로 다른 작업 요구사항을 갖는 세 가지 로봇 플랫폼에서 다섯 가지 실세계 시나리오를 통해 입증되며, 다양한 절대 측정 유형의 융합 이점 [2]을 강조한다. [1] 코드: https://github.com/leggedrobotics/holistic_fusion [2] 프로젝트: https://leggedrobotics.github.io/holistic_fusion
HiM2SAM: Enhancing SAM2 with Hierarchical Motion Estimation and Memory Optimization towards Long-term Tracking
CycleVAR: Repurposing Autoregressive Model for Unsupervised One-Step Image Translation
CycleDistill: Bootstrapping Machine Translation using LLMs with Cyclical Distillation
EndoMUST: Monocular Depth Estimation for Robotic Endoscopy via End-to-end Multi-step Self-supervised Training
KDMOS:Knowledge Distillation for Motion Segmentation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.