Planning Robot Motion using Deep Visual Prediction
원문 초록
In this paper, we introduce a novel framework that can learn to make visual predictions about the motion of a robotic agent from raw video frames. Our proposed motion prediction network (PROM-Net) can learn in a completely unsupervised manner and efficiently predict up to 10 frames in the future. Moreover, unlike any other motion prediction models, it is lightweight and once trained it can be easily implemented on mobile platforms that have very limited computing capabilities. We have created a new robotic data set comprising LEGO Mindstorms moving along various trajectories in three different environments under different lighting conditions for testing and training the network. Finally, we introduce a framework that would use the predicted frames from the network as an input to a model predictive controller for motion planning in unknown dynamic environments with moving obstacles.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
동결 Flow는 잊는다: Latent-flow 월드 모델에서 소실된 움직임의 진단과 복원
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
동결된 자기지도(self-supervised) 잠재(latent) 공간에 flow를 통합한 latent 월드 모델은 안정적이고 저렴하게 학습되지만, 조작(manipulation)이 가장 의존하는 속성인 움직임(motion)을 조용히 잃어버린다. 사전학습된 flow는 조작 대상을 전혀 움직이지 않으며, latent만 사용하는 손실로 재학습하면 정지 상태와 텔레포트처럼 움직이는 motion 사이를 바꾸는 것에 그친다. 우리는 실패 원인을 표현(representation)이 아니라 학습(training) 신호에 두며, anchor-sparse하고 latent만 사용하는 supervision은 horizon을 따라 변화가 어디에 속하는지 말해주지 못한다. Decode-augmented rollout 학습(DART)은 표현을 동결한 채 flow만 decode-path supervision으로 재학습하여 이를 수정한다. DART는 전체 프로토콜에서 latent-only 부모 모델을 능가하고, motion의 시간적 구조를 복원하며, 예측 motion을 장면(scene)과 다시 결합한다; 더 큰 규모에서는 예측 품질이 더 개선되어 oracle-informed interpolation reference까지 남은 격차의 거의 절반을 줄인다. 마지막으로 평가에 관한 예상치 못한 발견을 보고한다: 픽셀 오류만으로는 동결된 예측을 보상한다.
클래스 비지정 모션 예측을 위한 합성-실제 변환
Synthetic-to-Real Translation for Class-Agnostic Motion Prediction
모션 이해는 자율주행 시스템의 안전성과 견고성을 보장하는 데 매우 중요하며, 이에 따라 모션 예측에 대한 관심이 높아지고 있다. 이 분야의 핵심 과제 중 하나는 실세계 모션 레이블 취득에 드는 높은 비용이다. 따라서 합성 데이터에서 실제 데이터로 모션 지식을 전이할 수 있다면 이상적일 것이다. 이러한 맥락에서 우리는 모션 예측을 위한 합성-실제 변환(SRMP)의 가능성을 탐구한다. 그러나 가장 많이 사용되는 단순한 모션 회귀 방법들은 합성-실제 도메인 시프트에 특히 민감하여 신뢰할 수 없는 지식 변환을 초래한다. 이를 해결하기 위해 우리는 두 가지 핵심 구성요소를 통합한 모션 지식 변환 프레임워크를 포함하는 새로운 접근법을 제안한다: (1) 객체성 인식 모션 예측(objectness-aware motion prediction)으로, 모션 패턴과 객체성 사전 정보(objectness priors)의 결합 분포를 명시적으로 모델링하여 도메인 불변 특징(feature) 학습을 향상시키고, (2) 객체성 보조 모션 향상(objectness-aided motion enhancement)은 학습된 객체성 사전 정보를 활용하여 모션 노이즈를 필터링하는 모션 레이블 정제 메커니즘이다. 또한, SRMP 연구를 위한 최초의 합성 4D LiDAR 데이터셋인 Motion4D를 생성하기 위한 물리 기반 파이프라인을 제시하며, 이를 통해 합성 모션 데이터셋의 부재를 해소한다. 실험 결과는 우리의 접근법이 도메인 격차를 효과적으로 좁히고 실제 장면에서 우수한 성능을 발휘함을 보여준다.
어수선한 환경에서 포인트 클라우드로부터 모션 실행 가능성 학습
Learning Motion Feasibility from Point Clouds in Cluttered Environments
모션 실행 가능성 예측은 로봇공학에서, 특히 작업 및 모션 계획(task and motion planning)과 조작(manipulation)에서 핵심적인 역할을 한다. 어수선한 환경에서 이 문제의 주요 병목은 샘플링 기반 모션 플래너(SBMP)의 실행 불가능한 계획 시도가 상당한 계산 비용을 초래할 수 있다는 점이다. 또한 실행 불가능성 인증을 위한 기존 접근법은 저차원 구성(configuration) 공간에 한정되어 있으며, 종종 알려진 매개변수를 가진 기본 도형(primitive) 객체로 표현된 단순화된 기하 환경을 가정한다. 우리는 현실적인 어수선한 장면에서 동작하는 7 자유도(7-DOF) 매니퓰레이터에 대해 원시 RGB-D 관측값으로부터 모션 실행 가능성 예측을 직접 학습하는 상보적인 문제를 연구한다. 이 설정을 위한 최초의 대규모 벤치마크를 도입하며, 이는 88개의 스캔 객체와 190개의 어수선한 테이블톱 장면에 걸쳐 270만 개의 파지 가능성(grasp feasibility) 라벨로 구성된다. 동일한 학습(training) 조건에서 MLP 기반, 볼륨 CNN(volumetric-CNN), 포인트 클라우드 기반 트랜스포머(transformer) 아키텍처에 걸친 세 가지 대표적인 분류기 계열을 벤치마킹한다. 최고의 모델(model)인 GRASPFC-PTX(포인트 클라우드 트랜스포머)는 신규(Novel) 객체에 대해 AUROC 0.996을 달성하며, SBMP보다 현저히 빠른 예측을 제공한다.
GRIP: Graph-based Interaction-aware Trajectory Prediction
지정가 주문서 예측을 위한 추론-연산 프런티어
The Inference-Compute Frontier for Limit Order Book Prediction
우리는 FI-2010에서 지정가 주문서 예측에 대한 경험적 추론-연산 프런티어를 규명한다. 저연산 및 중연산 모델에 적합시킨 멱법칙은, 해당 적합에서 가장 큰 예산의 $56$--$2{,}515$배에 달하는 연산량을 가진, 제외된 MLPLOB 방식의 믹서 계열까지 외삽된다. 아홉 개의 폴드와 다섯 개의 예측 수평선에 걸쳐, 실현된 목표 프런티어에서 통합 $R^2$는 $0.934$이며 상수 종점 외삽보다 RMSE가 59\% 낮고, 제외된 모든 운용점에서는 $0.731$이다. 측정된 지연 시간은 더 약한 관계를 보이며 모델 계열의 순위를 바꾼다. 따라서 우리는 연산을 조밀한 시간 및 특징 혼합에 집약하도록 FastBiNLOB을 설계한다. H120은 다섯 개의 시드 모두에서 네 개의 수평선 중 두 개에서 발표된 최첨단 macro-F1을 능가한다. 우리의 CPU/MPS 프로토콜에서 H96은 W128 MLPLOB 기준 대비 중앙값 지연 시간을 23.6\% 줄이고, H120은 TLOB에서 착안한 이중 축 어텐션 기준 대비 60.2\% 줄인다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.