Domain Randomization for Active Pose Estimation
원문 초록
Accurate state estimation is a fundamental component of robotic control. In robotic manipulation tasks, as is our focus in this work, state estimation is essential for identifying the positions of objects in the scene, forming the basis of the manipulation plan. However, pose estimation typically requires expensive 3D cameras or additional instrumentation such as fiducial markers to perform accurately. Recently, Tobin et al.~introduced an approach to pose estimation based on domain randomization, where a neural network is trained to predict pose directly from a 2D image of the scene. The network is trained on computer-generated images with a high variation in textures and lighting, thereby generalizing to real-world images. In this work, we investigate how to improve the accuracy of domain randomization based pose estimation. Our main idea is that active perception -- moving the robot to get a better estimate of pose -- can be trained in simulation and transferred to real using domain randomization. In our approach, the robot trains in a domain-randomized simulation how to estimate pose from a \emph{sequence} of images. We show that our approach can significantly improve the accuracy of standard pose estimation in several scenarios: when the robot holding an object moves, when reference objects are moved in the scene, or when the camera is moved around the object.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NoContactNoWorries: Estimating Contact through Vision and Proprioception for In-Hand Dexterous Manipulation
온보드 센서를 활용한 고유감각적 차량 측위를 위한 물리 정규화 머신러닝
Physics-Regularized Machine Learning for Proprioceptive Vehicle Localization Using Onboard Sensors
정확하고 강건한 측위(localization)는 실제 환경의 자율 이동 시스템에 필수적이다. 관성 측정 장치(IMU) 데이터와 위성 기반 보정 신호를 융합하면 정밀한 차량 자세(pose) 추정이 가능하지만, 신호 중단 시 성능이 크게 저하된다. 최근 연구들은 머신러닝(ML)이 IMU 기반 고유감각적 측위를 향상시킬 수 있음을 보이며, 양산 차량에 기본 탑재된 온보드 센서의 활용 가능성을 강조하고 있다. 본 논문은 측위를 위한 물리 정규화 머신러닝(PRML2, Physics-Regularized Machine Learning for Localization)을 소개한다. PRML2는 칼만 필터링과 데이터 기반 학습의 상호 보완적 강점을 결합하여 온보드 센서만으로 차량 자세를 직접 추정하는 하이브리드 프레임워크이다. PRML2의 핵심은 미분 가능한 칼만 필터를 통한 ML 모델의 엔드-투-엔드 학습으로 구현되는 물리 정규화 학습이다. 이를 통해 차량 운동 모델과의 일관성이 개선되어 측위 정확도와 다양한 주행 조건에서의 일반화 성능이 모두 향상된다. 공개 데이터셋에서 ML 기반 온보드 오도메트리(odometry)의 성능 한계를 평가한 결과, PRML2가 우수한 측위 정확도를 달성하고 실시간 처리 능력을 갖춤을 보인다. 또한 본 연구는 저마찰 조건에서의 차량 측위 연구를 지원하기 위한 새로운 데이터셋을 소개한다. 제안된 프레임워크는 물리 기반 사전 정보(physics-based priors)와 학습을 통합함으로써 센서 성능이 저하된 조건에서도 강건하고 비용 효율적인 차량 측위 솔루션을 제공한다.
PedestrianDiffusion: 관성 항법을 위한 멀티모달 생성적 디노이징 및 밀집 상태 추정
PedestrianDiffusion: Multimodal Generative Denoising and Dense State Estimation for Inertial Navigation
소비자용 관성 항법의 정확도는 MEMS(Micro-Electro-Mechanical Systems)의 확률적 노이즈에 의해 병목 현상이 발생한다. 전통적인 결정론적 신경망 아키텍처는 수치적 안정성을 위해 고주파 운동학적 충실도를 희생하는 '추정 지터링(estimation jittering)' 문제에 빠지기 쉽다. 우리는 밀집 6D 상태 추정을 연속적인 조건부 디노이징 과정으로 재정식화하는 멀티모달 스펙트럼 도메인 생성 프레임워크인 PedestrianDiffusion을 제안한다. 주파수 도메인에서 동작함으로써, 우리의 공식화는 스펙트럼 공분산을 제한하여 역방향 확산 궤적을 안정화하는 수학적 전처리 조건자(preconditioner) 역할을 한다. 나아가, 이질적인 센서 노이즈 프로파일 전반에 걸쳐 일반화하기 위해 비전-언어(vision-language) 임베딩을 범주형 사전(categorical prior)으로 활용하는 제로샷(zero-shot) 의미론적 조건화 메커니즘을 도입한다. 생성적 추적의 계산 불가능성 문제를 해결하기 위해, 단일 단계 결정론적 확률 흐름 ODE 솔버($T=1$)를 적용한다. 이를 통해 고용량 비동기 배치 궤적 정제가 가능해지며, 에지 하드웨어에서의 비동기 배치 궤적 정제에 생성적 아키텍처의 실용성을 확립한다. OxIOD, RIDI, RoNIN, TLIO 벤치마크에 대한 광범위한 평가를 통해 PedestrianDiffusion이 최첨단 성능을 달성하며, 임펄스 섭동과 결합된 6D 운동학적 드리프트에 대해 전례 없는 강건성을 보임을 입증한다. 본 연구는 차세대 신경 관성 측정 장치(N-IMU, Neural Inertial Measurement Units)를 위한 엄밀한 알고리즘적 청사진을 제시한다.
DL-VINS-Factory: 비주얼-관성 SLAM의 학습 기반 비주얼 프론트엔드를 위한 모듈형 프레임워크
DL-VINS-Factory: A Modular Framework for Learned Visual Front-Ends in Visual-Inertial SLAM
딥러닝 특징(feature)은 시각적 매칭에서 뛰어난 성능을 보이지만, 긴밀하게 결합된 비주얼-관성 SLAM(VI-SLAM)에서의 실질적인 가치는 아직 충분히 규명되지 않았다. 본 논문에서는 학습 기반 특징 추출기(ALIKED, RaCo, SuperPoint, XFeat)를 Lucas–Kanade(LK) 옵티컬 플로우 추적 또는 LightGlue(LG) 디스크립터 매칭과 통합하는 통합 프레임워크 DL-VINS-Factory를 제안한다. 모든 프론트엔드는 슬라이딩 윈도우 Ceres 백엔드를 공유하며, 선택적으로 AnyLoc DINOv2-VLAD 루프 클로저와 4-DoF 포즈 그래프 최적화를 지원한다. 실내, 비정형 실외, 급격한 움직임, 시각적으로 열화된 환경을 포괄하는 4개의 데이터셋에서 시스템을 벤치마크하였다. 결과에 따르면 학습 기반 프론트엔드는 실시간 임베디드 VI-SLAM에 적용 가능하지만, 고전적인 추적 방식에 비해 보편적으로 우월하지는 않다. GFTT+LK 기준선(baseline) 대비 ALIKED+LG는 단안 오도메트리에서 EuRoC ATE를 5%, 루프 클로저를 적용한 스테레오에서 7% 감소시킨다. 급격한 공중 움직임으로 인해 프레임 간 시점 변화가 큰 NTU-VIRAL에서는 ALIKED+LG 스테레오가 루프 클로저 ATE를 12% 감소시킨다. Botanic Garden 데이터셋에서는 옵티컬 플로우 추적이 더 선호되지만, 학습 기반 키포인트는 기준선 GFTT보다 여전히 향상된 성능을 보이며, SuperPoint+LK는 그레이스케일 카메라 ATE를 29%, RaCo+LK는 RGB 카메라 ATE를 38% 감소시킨다. SubT-MRS에서는 학습 기반 프론트엔드가 개별 케이스에 따라 다양한 수준의 성능 향상을 보인다. Jetson AGX Orin에서 TensorRT 가속을 적용하면, EuRoC 및 NTU-VIRAL 데이터셋 기준으로 유효한 모든 구성이 단안 모드에서 29–47 FPS, 스테레오 모드에서 18–33 FPS로 실시간 동작한다. AnyLoc은 BRIEF+DBoW2 대비 약 2–7배 더 많은 유효 루프를 탐지함을 추가로 확인하였다. 구현 코드는 https://github.com/limshoonkit/DL-VINS-Factory-ROS2/ 에 오픈소스로 공개되어 있다.
OrthoTrack: 공개 정사항공사진에 기반한 연속적 6-DoF 무인항공기 궤적 추정
OrthoTrack: Continuous 6-DoF UAV Trajectory Estimation Anchored in Public Orthophotos
연속적 6-DoF(6자유도) 자세 추정은 자율 무인항공기(UAV) 운용에 필수적이다. 그러나 기존의 시각적 오도메트리(visual odometry) 및 SLAM 방법은 드리프트(drift)가 누적되어 상대적이고 스케일이 불확정된 궤적만을 생성한다. 단일 프레임 지리적 위치 추정(geo-localization)은 시간적 연속성을 버리고 실시간 사용에 너무 느리다. 우리는 공개적으로 이용 가능한 정사항공사진(orthophoto)과 표면 모델만을 지도 사전 정보로 사용하여 연속적인 6-DoF UAV 궤적을 추정하는 학습(training) 없는 시스템인 OrthoTrack을 제시한다. OrthoTrack은 키프레임(keyframe)을 정사항공사진과 매칭하고, 표면 모델을 통해 대응점을 미터 단위의 3D 공간으로 변환한다. 이후 광학 흐름(optical flow)을 이용해 이러한 지도 기준 대응점을 중간 프레임으로 전파함으로써, GPS나 사후 정렬 없이 모든 프레임에서 절대적이고 미터 스케일로 정규화된 자세를 생성한다. 또한 우리는 포토리얼리스틱(photorealistic) UAV 시퀀스와 밀집 6-DoF 정답 데이터 및 다중 시기 정사항공사진을 포함한 공동 등록된 다중 모달 지리 데이터를 쌍으로 구성한 대규모 벤치마크인 MovingDrone 데이터셋을 소개한다. MovingDrone과 실세계 벤치마크에서 OrthoTrack은 단일 GPU로 실시간 동작한다. 오라클 스케일 및 정렬을 제공받는 기준선(baseline)을 포함한 모든 기준선을 큰 마진(margin)으로 능가한다. 공개된 지리 데이터에 의존함으로써 OrthoTrack은 지역별 적응 없이도 새로운 지역에 배포할 수 있다.
저전력 에지 플랫폼을 위한 비전 기반 실시간 낙상 감지
Real-time fall detection based on vision for low-power edge platforms
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.