arXiv:2601.21718v3 cs.LG

When Does Predictive Inverse Dynamics Outperform Behavior Cloning?

Lukas Schäfer, Pallavi Choudhury, Abdelhak Lemkhenter, Chris Lovett, Somjit Nath, Luis França, Matheus Ribeiro Furtado de Mendonça, Alex Lamb, Riashat Islam, Siddhartha Sen, John Langford, Katja Hofmann, Sergio Valcarcel Macua

제출 2026-01-29

원문 초록

Behavior cloning (BC) is a practical offline imitation learning method, but it often fails when expert demonstrations are limited. Recent works have introduced a class of architectures named predictive inverse dynamics models (PIDMs) that combine a future-state predictor with an inverse dynamics model. While PIDMs often outperform BC, the reasons behind their benefits remain unclear. In this paper, we provide a theoretical explanation: PIDMs introduce a tradeoff. Conditioning the IDM on the predicted future state can significantly reduce variance, but the prediction itself introduces additional bias and variance. We establish conditions for PIDMs to achieve higher sample efficiency and lower prediction error than BC, with the gap widening when additional data sources are available. We validate the theoretical insights empirically in 2D navigation tasks, where BC requires up to five times (three times on average) more demonstrations than PIDM to reach comparable performance. Results are also illustrated in a complex 3D environment in a modern video game with high-dimensional visual inputs and stochastic transitions, where BC requires over 66\% more samples than PIDM.

요약

행동 복제(BC)보다 예측적 역동역학 모델(PIDM)이 우수한 성능을 보이는 이유를 이론적으로 규명한 연구로, PIDM이 미래 상태 조건화를 통해 분산을 줄이되 예측 편향과 분산을 추가로 도입하는 트레이드오프를 분석하였다. 2D 내비게이션 태스크에서 BC가 PIDM 대비 최대 5배 더 많은 데모를 필요로 하며, 고차원 시각 입력의 3D 게임 환경에서도 BC가 66% 이상 더 많은 샘플을 요구함을 실증하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.21718v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27717v1cs.CL공통 태그 Reinforcement Learning, Imitation Learning, Deep Reinforcement Learning

SkillGym: 실제 문제 해결을 위해 인간의 스킬을 LLM에 내재화하기

SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving

사람이 작성한 에이전트 스킬(skill)은 실제 문제 해결을 위한 풍부한 워크플로를 담고 있지만, 일반적으로 재사용 가능한 모델 역량으로 내재화되지 못한 채 추론 시점의 외부 지침으로만 사용된다. 본 논문에서는 이러한 스킬을 대규모 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크인 \texttt{SkillGym}을 소개한다. SkillGym의 스킬-태스크 파이프라인은 구체적인 태스크를 생성하고, 코드 기반 검사기로 결과를 검증하며, 대조 실행(contrastive execution)을 통해 스킬에 대한 경험적 의존도를 평가한다. 우리는 12개 범주에 걸쳐 2,756개의 환경을 구축하여 공개하고, 여러 모델과 하네스(harness)에서 성공한 궤적(trajectory) 8,364개를 수집했으며, 이 궤적은 평균 49회의 도구 호출과 6만 개가 넘는 로깅된 텍스트 토큰으로 구성된다. 이러한 자원은 검증된 워크플로에 대한 지도 미세조정과 결과 기반 보상을 사용하는 강화학습을 지원한다. Claude Code 환경에서 지도 미세조정은 Qwen3.5-35B-A3B의 성능을 GDPval-AA v2에서 199 Elo, Terminal-Bench 2.1에서 19.10%p 향상시켰으며, SkillsBench v1.1에서는 스킬을 사용한 경우와 사용하지 않은 경우 각각 28.13점과 12.38점 향상시켰다. 35B 규모의 \texttt{SkillGym-Agent}는 스킬을 활용한 SkillsBench에서 51.47\%를 달성하여 Claude Sonnet 4.6, GPT-5.4 Mini, DeepSeek V4 Pro의 보고된 점수를 넘어선다. 또한 스킬 없이도 Codex와 Claude Code 환경에서 스킬을 활용한 기본 모델들을 능가하며, 이는 재사용 가능한 절차적 역량을 시사한다.

arXiv:2609.27450v1cs.RO공통 태그 Reinforcement Learning, Imitation Learning, Deep Reinforcement Learning

BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습

BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models

비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.

arXiv:2607.23854v1cs.AI공통 태그 Reinforcement Learning, Imitation Learning, Deep Reinforcement Learning

학습과 탐색을 통한 조합 최적화에서 인간형 해법 이해

Understanding Human-like Solutions in Combinatorial Optimization via Learning and Search

인간은 고급 컴퓨터 알고리즘에게도 계산적으로 어려운 조합 최적화 문제에 대해 종종 좋은 해를 찾는다. 유클리드 여행 판매원 문제(TSP)에서 사람들은 시간과 계산에 심각한 제약이 있음에도 불구하고 거의 최적인 경로(tour)를 빠르게 생성한다. 경로를 인간형으로 만드는 요인은 무엇이며, 이러한 해를 어떻게 학습할 수 있을까? 본 연구에서는 유클리드 TSP에서 인간의 수행을 대규모 행동 및 계산 조사를 통해 이러한 질문에 답한다. 우리는 TSP 인스턴스의 넓은 공간을 샘플링하고, 인간의 해를 수집했으며, 유효한 경로에 대한 확률 분포를 정의하는 어텐션 기반 포인팅 메커니즘을 갖춘 순환 신경망인 Pointer Networks에 기반한 신경 정책과 이를 비교했다. 우리는 강화학습(RL), 최적 경로로부터의 지도학습, 인간 경로로부터의 지도학습, 그리고 최적 경로 지도학습 사전학습 후 RL 미세조정을 포함한 여러 목적 함수로 이러한 네트워크를 학습시켰다. 인간의 경로는 최적 경로와 동일하지는 않았지만, 거의 최적인 기하학적 분지(basin)를 차지했다: 최적 해와 많은 구조적 특성을 공유하면서도 체계적인 인간 특유의 편차를 유지했다. 인간 경로에 대한 최상의 설명은 최적 경로의 직접적 모방이 아니라, 최적 경로로 사전학습하고 RL로 미세조정한 뒤 $\text{Best-of-}N$ 샘플링을 통해 디코딩한 모델이었다. 이러한 결과는 인간형 해가 구조화된 지도학습, RL, 테스트 시점 탐색의 결합으로부터 창발할 수 있음을 시사하며, 많은 현대 인공지능 시스템의 기반이 되는 계산 원리와 공명한다.

arXiv:2610.13522v1cs.RO공통 태그 Reinforcement Learning, Imitation Learning

성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링

Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics

행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.