arXiv:1705.10422

Learning End-to-end Multimodal Sensor Policies for Autonomous Navigation

Guan-Horng Liu, Avinash Siravuru, Sai Prabhakar, Manuela Veloso, George Kantor

제출 2017-05-30

원문 초록

Multisensory polices are known to enhance both state estimation and target tracking. However, in the space of end-to-end sensorimotor control, this multi-sensor outlook has received limited attention. Moreover, systematic ways to make policies robust to partial sensor failure are not well explored. In this work, we propose a specific customization of Dropout, called \textit{Sensor Dropout}, to improve multisensory policy robustness and handle partial failure in the sensor-set. We also introduce an additional auxiliary loss on the policy network in order to reduce variance in the band of potential multi- and uni-sensory policies to reduce jerks during policy switching triggered by an abrupt sensor failure or deactivation/activation. Finally, through the visualization of gradients, we show that the learned policies are conditioned on the same latent states representation despite having diverse observations spaces - a hallmark of true sensor-fusion. Simulation results of the multisensory policy, as visualized in TORCS racing game, can be seen here: https://youtu.be/QAK2lcXjNZc.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2504.06479v2cs.RO공통 태그 State Estimation, Sensor Fusion공식 코드 · Papers with Code

Holistic Fusion: 팩터 그래프 기반 작업 및 설정에 구애받지 않는 로봇 위치 추정 및 상태 추정

Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs

도전적인 환경에서 이동 로봇의 원활한 운용을 위해서는 저지연 국소 운동 추정과 정확한 전역 위치 추정이 필요하다. 대부분의 센서 융합(sensor fusion) 접근법은 특정 시나리오를 위해 설계되지만, 본 연구는 일반성과 사용성을 특징으로 하는 작업 및 설정에 구애받지 않는 다중모달 센서 융합을 위한 유연한 오픈소스 솔루션을 제안한다. Holistic Fusion은 센서 융합을 i) 국소 및 전역 로봇 상태와 ii) (이론적으로 무제한적인 수의) 동적 변수(기준 좌표계의 자동 정렬 포함)의 결합 추정 문제로 공식화한다. 이 공식화는 개념적 수정 없이 수많은 실세계 응용에 적용 가능하며, 하드코딩된/작업 특화 접근법을 넘어서는 포괄적 솔루션을 제공한다. 제안된 팩터 그래프(factor graph) 공식화는 서로 다른 좌표계에 대해 표현된 임의 개수의 절대, 국소, 랜드마크(landmark) 측정값을 최적화(optimization)의 상태로 명시적으로 포함하고 그 진화를 랜덤 워크(random walk)로 모델링함으로써 직접 융합할 수 있게 한다. 또한 추정 점프를 방지하기 위해 국소적 평활성과 일관성에 특별한 주의를 기울인다. Holistic Fusion은 일반적인 로봇 하드웨어에서 저지연且 부드러운 온라인 상태 추정을 가능하게 하면서 동시에 IMU 측정 속도에서 저드리프트(low-drift) 전역 위치 추정을 제공한다. 공개된 이 프레임워크 [1]의 효과는 서로 다른 작업 요구사항을 갖는 세 가지 로봇 플랫폼에서 다섯 가지 실세계 시나리오를 통해 입증되며, 다양한 절대 측정 유형의 융합 이점 [2]을 강조한다. [1] 코드: https://github.com/leggedrobotics/holistic_fusion [2] 프로젝트: https://leggedrobotics.github.io/holistic_fusion

arXiv:2606.19176v1cs.RO공통 태그 State Estimation, Sensor Fusion

자율 해상 UAV 비행을 위한 딥 모노큘러 자세 추정의 하드웨어 및 비전 인 더 루프 검증

Hardware- and Vision-in-the-Loop Validation of Deep Monocular Pose Estimation for Autonomous Maritime UAV Flight

선상 자율 UAV 운용에는 신뢰할 수 있는 비전 기반 상대 자세 추정이 필요하지만, 해상 검증은 비용이 많이 들고 날씨에 의존적이며 위험합니다. 본 논문은 사실적인 해상 환경을 모사하면서 완전 자율 실내 비행을 가능하게 하는 하드웨어 검증된 비전 인 더 루프 프레임워크를 제시합니다. 렌더링된 해상 뷰는 딥 트랜스포머 기반 모노큘러 자세 추정기에 의해 온보드에서 처리됩니다. 지연된 비전 측정값은 지연된 칼만 필터를 사용하여 고주파 IMU 데이터와 융합되어, 기하학적 제어를 위해 일관된 상태 추정값을 제공합니다. 이 시스템은 순수 시뮬레이션에는 없는 인식 지연, 비동기 업데이트, 연산 제약 등 중요한 임베디드 효과들을 포착합니다. 자율 이륙, 궤적 추적, 착륙 실험을 통해 안정적인 폐루프 비행이 입증되었습니다. 결과는 선상 배치 전 해상 UAV 자율성을 개발하기 위한 안전하고 하드웨어 현실적인 중간 단계를 확립합니다.

arXiv:2606.13509v1cs.CV공통 태그 State Estimation, Sensor Fusion

시각 기반 실내 위치 추정을 위한 측정 보정 다중 카메라 융합

Measurement-Calibrated Multi-Camera Fusion for Vision-Based Indoor Localization

실내 시각 기반 위치 추정 시스템은 검출 노이즈, 가림(occlusion), 제한된 카메라 커버리지의 영향을 받아 파이프라인의 여러 단계에서 불확실성을 초래한다. 다중 카메라 데이터 융합은 이러한 문제를 완화하기 위해 널리 사용되지만, 일반적으로 블랙박스 구성 요소로 다루어지며 종단간(end-to-end) 평가만 수행되어 그 기작적 기여를 가린다. 이러한 공백을 해소하기 위해, 본 연구는 단일 카메라 위치 추정 오차를 명시적으로 특성화하는 것이 다중 카메라 데이터 융합을 보정하고 최적화하는 데 활용될 수 있는지를 조사한다. 본 연구는 호모그래피(homography) 보정, 인체 검출, 모션 추적을 구체적으로 분리하여 구성 요소별 오차 정량화를 통합하는 측정 보정 융합 접근법을 제안한다. 호모그래피 보정, 인체 검출, 모션 추적으로부터의 오차 기여도를 정량화하기 위해 구성 요소별 평가를 수행한다. 실험 결과, 데이터 융합이 단일 카메라 기준선(baseline)에 비해 위치 추정 정확도를 향상시킴을 보여준다. 측정 보정 융합은 표준 융합 대비 절대 정확도에서 제한적인 개선만 제공하지만, 궤적 분산(trajectory variance)을 대폭 줄이고 모션 평활성(motion smoothness)을 향상시키며, 이는 안정적이고 연속적인 모션 추정이 필요한 응용에서 중요하다. 이러한 결과는 시각 기반 실내 위치 추정 시스템을 위한 데이터 융합 전략을 설계할 때 명시적 오차 특성화의 가치를 강조한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.