Semiparametrical Gaussian Processes Learning of Forward Dynamical Models for Navigating in a Circular Maze
원문 초록
This paper presents a problem of model learning for the purpose of learning how to navigate a ball to a goal state in a circular maze environment with two degrees of freedom. The motion of the ball in the maze environment is influenced by several non-linear effects such as dry friction and contacts, which are difficult to model physically. We propose a semiparametric model to estimate the motion dynamics of the ball based on Gaussian Process Regression equipped with basis functions obtained from physics first principles. The accuracy of this semiparametric model is shown not only in estimation but also in prediction at n-steps ahead and its compared with standard algorithms for model learning. The learned model is then used in a trajectory optimization algorithm to compute ball trajectories. We propose the system presented in the paper as a benchmark problem for reinforcement and robot learning, for its interesting and challenging dynamics and its relative ease of reproducibility.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ConFlow: 동작 생성을 위한 제약 조건 유도 Flow Matching 학습
ConFlow: Constraints-Guided Learning with Flow Matching for Motion Generation
최근 Flow Matching은 로봇 동작 생성을 위한 생성 모델링의 주요 방법이 되었다. 일반적인 형태에서 Flow Matching은 동작 샘플을 데이터로 사용하여 관련 경험적 flow field에 대해 회귀 학습되는 ODE 기반 신경 샘pler이다. 그러나 로봇 동작 생성에서는 수집된 데이터에 존재하지 않을 수 있는 추가 제약 조건이 자주 있다. 현재 대부분의 접근법은 사용 가능한 데이터로 flow를 학습하고, 태스크별 제약 조건을 강제하기 위해 추론 시 guidance를 사용한다. 이 불일치를 해결하기 위해, 미분 가능한 barrier 또는 cost function을 통해 제약 조건 정보를 학습 목적 함수에 직접 통합하는 제약 조건 유도 flow matching 프레임워크인 ConFlow를 제안한다. 평활성(smoothness) 및 경계 조건과 같은 설계 사양을 다루기 위해, flow matching 학습에 사용되는 표준 Gaussian source distribution을 조건부 Gaussian Process로 대체할 것을 제안한다. 또한 우리 접근법은 실행 불가능한(infeasible) 시연을 negative supervision으로 사용하여, 추가 전문가 데이터 없이도 제약 조건 만족을 개선한다. 두 로봇 내비게이션 태스크에서의 실험은 ConFlow가 추론 시 guidance 유무와 관계없이 표준 flow matching baseline보다 더 낮은 충돌률과 더 높은 궤적 품질을 달성함을 보여준다. 이 결과는 생성적 동작 모델에서 학습-추론 격차를 줄이는 효과적인 접근법으로서 학습 시 제약 조건 통합의 유효성을 검증한다.
모델 기반 플래닝을 위한 언어 기반 잠재 목표 예측
Latent Goal Prediction from Language for Model-Based Planning
결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.
확률적 동적 시스템의 확률론적 대리 모델링을 위한 함수 대 함수 비선형 자기회귀 모델(F2NARX)
Function-on-function nonlinear autoregressive model (F2NARX) for probabilistic surrogate modeling of stochastic dynamical systems
동적 시스템 응답을 예측하기 위한 정확하고 계산 효율적인 대리 모델을 구축하는 것은 많은 공학 분야에서 매우 중요하지만, 외부 가진과 시스템 파라미터로부터 시스템 응답으로의 사상이 강한 비선형성과 고차원성을 지니므로 여전히 어려운 과제이다. 본 연구는 최근 제안된 $\mathcal{F}$-NARX 방법을 함수 대 함수 회귀 관점에서 재정식화한 새로운 외생 입력을 갖는 함수 대 함수 비선형 자기회귀 모델(F2NARX)을 제안한다. 제안된 프레임워크는 높은 정확도를 유지하면서 예측 효율을 크게 향상시킨다. 주성분 분석과 가우시안 프로세스 회귀를 결합함으로써, F2NARX는 무향 변환을 이용해 자기회귀 방식으로 동적 응답의 확률론적 예측을 추가로 가능하게 한다. 이 방법의 효과는 다양한 복잡도의 사례 연구를 통해 입증된다. 결과는 F2NARX가 최신 NARX 모델보다 효율에서 수십 배 이상의 자릿수 차이로 우수하면서도 일반적으로 더 높은 정확도를 달성함을 보여준다. F2NARX의 확률론적 예측 능력은 능동 학습과 결합하여 최초 통과 확률 추정에 적용함으로써 추가로 입증되며, 이는 신뢰성 지향 응용에서의 잠재력을 보여준다.
동적 랜덤 효과 추론으로서의 그래디언트 플로우 최적화: 심층 학습에의 적용을 위한 검정 및 조기 종료
Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning
그래디언트 플로우 최적화는 보통 경험적 손실을 최소화하는 알고리즘적 절차로 간주되며, 학습 기간은 검증 또는 휴리스틱 조기 종료 규칙에 의해 선택된다. 우리는 그래디언트 플로우 학습을 위한 통계적 추론 프레임워크를 개발한다. 적합값(fitted values)이 시불변(time-invariant) 양반정치(positive semidefinite) 학습 연산자를 통해 진화할 때마다, 각 시점에서의 출력이 대응하는 랜덤 효과 모델 하의 최량 선형 불편 예측기(best linear unbiased predictor)와 동등함을 보인다. 학습 시간은 잔차 노이즈에서 구조적 신호로의 분산 재할당을 제어하는 분산 성분(variance-component) 매개변수가 된다. 이는 두 가지 학습 결정을 추론 문제로 전환한다: 학습이 필요한지 여부는 초기화 이상의 신호에 대한 분산 성분 검정이 되고, 얼마나 오래 학습할지는 학습 시간 분산 성분의 제한 최대 가능도(restricted maximum likelihood, REML) 추정이 된다. REML 유도 조기 종료 규칙은 최적화된 스펙트럴 손실이 학습 연산자 고유값과 무상관(decorrelated)이 되는 시점을 선택함을 보인다. REML 유도 조기 종료 시간의 점근적 예측 최적성은 고정 설계 표본 내 위험(fixed-design in-sample risk) 및 랜덤 설계 표본 외 위험(random-design out-of-sample risk)에 대해 확립된다. 고정 커널 그래디언트 체제의 심층 학습 모델은 우리 결과의 표준적 구체화를 제공한다. 수치 실험 및 UK Biobank 프로테오믹스 응용은 검증 분할 및 반복적 체크포인트 평가에 대한 의존도를 줄이면서 REML 유도 조기 종료 시간의 경쟁적 정확도를 보인다.
EffiNav: 효율적인 객체 목표 내비게이션을 위한 깊이와 비전-언어 융합
EffiNav: Fusing Depth and Vision-Language for Efficient Object Goal Navigation
미지의 환경을 탐험하며 대상 객체를 찾는 것은 자율 에이전트의 핵심 능력으로, 수색 및 구조부터 현장 로봇에 이르기까지 다양한 응용 분야가 있습니다. 이러한 작업의 단순화된 버전은 객체 목표 내비게이션(ObjNav)입니다. ObjNav에서 대상 객체에 성공적으로 도착하는 것은 성능의 기본 척도가 되지만, 내비게이션 궤적의 효율성 또한 에이전트가 얼마나 지능적으로 탐험하는지와 후속 작업에 얼마나 많은 시간이 남아있는지를 나타내므로 동등하게 중요합니다. 미지의 환경에서 효율적인 내비게이션의 핵심은 다음에 어디를 탐험할지 결정하는 데 있습니다. 많은 기존 연구가 이 핵심 과제를 해결하고 특정 설정에서 유망한 성능을 달성했으나, 최근의 학습 기반 모델과 비학습 프레임워크는 각각 일반화 및 효율성 문제로 인해 여전히 어려움을 겪고 있으며, 최악의 경우 이미 방문한 영역의 과도한 탐험이나 불필요한 왕복 움직임으로 이어질 수 있습니다. 우리는 널리 사용되는 두 시뮬레이션 벤치마크인 Habitat Matterport 3D(HM3D)와 Open-Vocabulary Object goal Navigation(OVON)에서 EffiNav를 평가하고, 실제 환경의 물리적 로봇에서 그 효과를 추가로 검증했습니다. 또한 대규모 시뮬레이션 에피소드에 대한 실패 분석을 수행했습니다. 최소한의 수정만으로 GOAT-BENCH 데이터셋의 메모리 증강 ObjNav 작업으로 EffiNav를 확장하여, 표준 ObjNav 설정을 넘어선 적응성을 입증했습니다. 성공률(SR)과 경로 길이 가중 성공(SPL)이라는 두 가지 표준 지표 전반에서 EffiNav는 최신 기준 모델과 대등하거나 이를 능가하는 성능을 보여, 효율성, 견고성 및 실용적 적용 가능성을 입증했습니다. 두 데이터셋의 서로 다른 강조점을 고려할 때, 이러한 성과는 해당 프레임워크가 효율적인 ObjNav에 있어 더 균형 잡혀 있고 일반화 가능함을 보여줍니다.
방향 비순환 그래프 위의 심층 가우시안 과정
Deep Gaussian Processes on Directed Acyclic Graphs
많은 실제 과정은 방향 비순환 그래프(DAG)를 따르는 함수들의 합성으로 표현할 수 있다. 인과 모델링에서 이는 기저 메커니즘에, 공학에서는 다중 충실도 수준에, 유전자 조절 네트워크에서는 전사 인자에 해당한다. 이러한 함수들은 DAG 전반에서 잡음이 있고 이질적으로 샘플링된 측정값으로 부분적으로만 관측되므로, 재구성, 불확실성 전파, 추론에 상당한 어려움을 야기한다. 이러한 어려움을 해결하기 위해 함수에 대한 사전분포를 두어 자연스럽게 DAG 위의 심층 가우시안 과정에 도달한다. 우리는 이들의 사전분포 붕괴 거동과, 그래프 위상 및 중간 관측이 정보 보존에 미치는 영향을 이론적으로 연구한다. 입력 간 구별이 보존되는 깊이의 점근적 빈도에 대한 거의 확실한 하한을 얻고, 이것이 성립하는 폭넓은 커널 클래스를 규명하며, 입력 연결의 역할에 관한 \citep{dunlop2018}의 관찰을 증명한다. 또한 그래프 의존성을 유지하고 합성적 불확실성을 보존하며 충돌자(collider)의 설명 소거(explaining-away) 거동을 포착하는 구조적 변분 근사를 제시한다. 마지막으로 대규모 및 DAG 오지정 상황에서 이론과 방법론을 경험적으로 검증한다. 이어서 잠재 충돌자 DAG, 단백질 신호 전달 네트워크, 다중 충실도 \mbox{heavy-ion} 충돌 에뮬레이션 과제를 모델링하여, 최고 수준의 성능을 달성하는 동시에 저충실도 기여를 복원하고 시뮬레이터 계층에 대한 해석 가능성을 제공한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.