Active Imitation Learning from Multiple Non-Deterministic Teachers: Formulation, Challenges, and Algorithms
원문 초록
We formulate the problem of learning to imitate multiple, non-deterministic teachers with minimal interaction cost. Rather than learning a specific policy as in standard imitation learning, the goal in this problem is to learn a distribution over a policy space. We first present a general framework that efficiently models and estimates such a distribution by learning continuous representations of the teacher policies. Next, we develop Active Performance-Based Imitation Learning (APIL), an active learning algorithm for reducing the learner-teacher interaction cost in this framework. By making query decisions based on predictions of future progress, our algorithm avoids the pitfalls of traditional uncertainty-based approaches in the face of teacher behavioral uncertainty. Results on both toy and photo-realistic navigation tasks show that APIL significantly reduces the numbers of interactions with teachers without compromising on performance. Moreover, it is robust to various degrees of teacher behavioral uncertainty.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
범용 로봇 정책을 위한 능동적 실세계 요인 기반 평가
Active Real-World Factor-Based Evaluation for Generalist Robot Policies
대규모·다양한 데이터셋으로 학습된 범용 로봇 조작 정책은 다양한 작업 전반에서 뛰어난 가능성을 보여왔다. 그러나 이러한 정책을 엄밀하게 평가하는 것은 여전히 근본적인 과제로 남아 있다. 실세계 성능은 물체 자세와 카메라 시점 등 작업 요인의 거대한 조합 공간에 달려 있어, 완전하고 포괄적인 평가는 실현 불가능하다. 또한 실제 하드웨어 평가는 느리고 자원 소모가 크기 때문에, 현재 관행은 핵심 실패 모드를 놓치고 실제 배포 준비도를 왜곡할 수 있는 좁은 테스트 스위트를 사용하는 것이다. 우리는 정책 평가를 순차적 실험 설계 문제로 취급함으로써 이 과제를 해결하는 능동 평가 프레임워크를 제안한다. 우리 접근법은 구조화된 작업 요인 공간 위에 확률적 서로게이트 모델을 적합시키고, 정책 성능 분포에 대한 정보 이득을 최대화하도록 평가 구성을 적응적으로 선택하여, 보지 못한 조건에서 정책 행동을 샘플 효율적으로 특성화하고 실패가 잦은 영역을 체계적으로 식별할 수 있게 한다. 3가지 작업과 3가지 요인 변형에 걸쳐 총 2331회의 실세계 평가를 수행한 결과, 우리 접근법은 일반적인 무작위 테스트에 비해 평가자가 최소 20–40%의 시행을 절약하는 것으로 나타났다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
Learning Dexterous Manipulation Using Contact Wrench Guidance From Human Demonstration
인식론적 불확실성 평가: OOD 탐지와 능동 학습을 넘어서
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
토론
이 논문과 연결된 포럼 글이 아직 없습니다.