Single-Reset Divide & Conquer Imitation Learning
원문 초록
Demonstrations are commonly used to speed up the learning process of Deep Reinforcement Learning algorithms. To cope with the difficulty of accessing multiple demonstrations, some algorithms have been developed to learn from a single demonstration. In particular, the Divide & Conquer Imitation Learning algorithms leverage a sequential bias to learn a control policy for complex robotic tasks using a single state-based demonstration. The latest version, DCIL-II demonstrates remarkable sample efficiency. This novel method operates within an extended Goal-Conditioned Reinforcement Learning framework, ensuring compatibility between intermediate and subsequent goals extracted from the demonstration. However, a fundamental limitation arises from the assumption that the system can be reset to specific states along the demonstrated trajectory, confining the application to simulated systems. In response, we introduce an extension called Single-Reset DCIL (SR-DCIL), designed to overcome this constraint by relying on a single initial state reset rather than sequential resets. To address this more challenging setting, we integrate two mechanisms inspired by the Learning from Demonstrations literature, including a Demo-Buffer and Value Cloning, to guide the agent toward compatible success states. In addition, we introduce Approximate Goal Switching to facilitate training to reach goals distant from the reset state. Our paper makes several contributions, highlighting the importance of the reset assumption in DCIL-II, presenting the mechanisms of SR-DCIL variants and evaluating their performance in challenging robotic tasks compared to DCIL-II. In summary, this work offers insights into the significance of reset assumptions in the framework of DCIL and proposes SR-DCIL, a first step toward a versatile algorithm capable of learning control policies under a weaker reset assumption.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SkillGym: 실제 문제 해결을 위해 인간의 스킬을 LLM에 내재화하기
SkillGym: Internalizing Human Skills into LLMs for Real-World Problem Solving
사람이 작성한 에이전트 스킬(skill)은 실제 문제 해결을 위한 풍부한 워크플로를 담고 있지만, 일반적으로 재사용 가능한 모델 역량으로 내재화되지 못한 채 추론 시점의 외부 지침으로만 사용된다. 본 논문에서는 이러한 스킬을 대규모 언어 모델 에이전트를 위한 실행 가능하고 검증 가능한 학습 환경으로 변환하는 프레임워크인 \texttt{SkillGym}을 소개한다. SkillGym의 스킬-태스크 파이프라인은 구체적인 태스크를 생성하고, 코드 기반 검사기로 결과를 검증하며, 대조 실행(contrastive execution)을 통해 스킬에 대한 경험적 의존도를 평가한다. 우리는 12개 범주에 걸쳐 2,756개의 환경을 구축하여 공개하고, 여러 모델과 하네스(harness)에서 성공한 궤적(trajectory) 8,364개를 수집했으며, 이 궤적은 평균 49회의 도구 호출과 6만 개가 넘는 로깅된 텍스트 토큰으로 구성된다. 이러한 자원은 검증된 워크플로에 대한 지도 미세조정과 결과 기반 보상을 사용하는 강화학습을 지원한다. Claude Code 환경에서 지도 미세조정은 Qwen3.5-35B-A3B의 성능을 GDPval-AA v2에서 199 Elo, Terminal-Bench 2.1에서 19.10%p 향상시켰으며, SkillsBench v1.1에서는 스킬을 사용한 경우와 사용하지 않은 경우 각각 28.13점과 12.38점 향상시켰다. 35B 규모의 \texttt{SkillGym-Agent}는 스킬을 활용한 SkillsBench에서 51.47\%를 달성하여 Claude Sonnet 4.6, GPT-5.4 Mini, DeepSeek V4 Pro의 보고된 점수를 넘어선다. 또한 스킬 없이도 Codex와 Claude Code 환경에서 스킬을 활용한 기본 모델들을 능가하며, 이는 재사용 가능한 절차적 역량을 시사한다.
ForgetMimic: 강화학습 휴머노이드 제어를 위한 모션 언러닝
ForgetMimic: Motion Unlearning for Reinforcement Learning Humanoid Control
인간 시연을 활용한 휴머노이드 제어는 강화학습(RL)을 통해 다양하고 민첩하며 자연스러운 이동(locomotion) 행동을 달성해 왔다. 이 패러다임이 물리 세계 휴머노이드 제어에서 뛰어난 성능을 보여 주었지만, 학습된 정책에서 특정 동작을 제거하는 방법은 여전히 충분히 탐구되지 않았다. 이 문제를 다루는 동기는 긴급한 안전성 및 프라이버시 우려에서 비롯된다. 악의적이거나 오염된, 또는 차선의 동작뿐 아니라 GDPR과 같은 규정에 따른 잊혀질 권리(right to be forgotten)의 대상이 되는 저작권 보호 동작을 제거하는 것은 매우 중요하다. 이를 위해 우리는 물리 세계 휴머노이드 제어를 위해 특별히 설계된 최초의 모션 수준 언러닝 방법인 ForgetMimic을 제안한다. ForgetMimic의 핵심 아이디어는 다음과 같다. $N$개의 동작으로 학습된 정책 $\pi_\theta$가 주어졌을 때, 우리 방법은 목표 부분집합인 $K$개 동작에 대한 성능을 저하시키면서 나머지 $N-K$개 동작의 효과는 유지한다. 또한 우리는 로봇 제어에서 언러닝 실패로 이어지는 두 가지 핵심 학습 메커니즘을 식별하고 해결한다. Unitree G1 및 H2 휴머노이드 로봇에서 Dance, Fight, Flip 등 12가지 동작에 걸쳐 광범위한 실험을 수행했다. 실험 결과는 ForgetMimic이 지정된 동작에 대한 기억을 효과적으로 제거하면서 다른 모든 동작의 정상 동작을 유지함을 보여 준다.
BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습
BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models
비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.
EvoCUA-1.5: 멀티턴 컴퓨터 사용 에이전트를 위한 온라인 강화학습
EvoCUA-1.5: Online Reinforcement Learning for Multi-turn Computer-Use Agents
컴퓨터 사용 에이전트(computer-use agent)는 부분 관측 가능한 멀티모달 데스크톱 환경과의 반복적인 상호작용을 통해 장기 태스크를 해결해야 한다. 모방 학습(imitation learning)과 오프라인 궤적 정제(offline trajectory refinement)는 강력한 사전 정보를 제공하지만, 정적인 트레이스는 실제 컴퓨터 사용의 인과적 피드백 루프를 포괄할 수 없다: 각 행동은 화면 상태, 미래 행동 공간, 그리고 복구 옵션을 변화시킨다. EvoCUA-1.5는 자기 진화 컴퓨터 사용 에이전트를 오프라인 경험 학습에서 온라인 강화학습으로 확장하며, 정책이 실행 가능한 샌드박스 환경과 상호작용하고 검증 가능한 태스크 결과로부터 개선된다. 이 설정에서의 온라인 강화학습은 단순히 단일 턴 언어-강화학습 레시피를 재사용하는 것 이상을 요구한다. 멀티턴 상호작용은 컨텍스트 관리 관측, 희소 최종 보상, 가변 길이 궤적, 그리고 느린 환경 피드백을 수반한다. EvoCUA-1.5는 이러한 과제들을 다음과 같은 방법으로 해결한다: 스텝 수준 정책 최적화(STEPO, Step-Level Policy Optimization)는 스텝 수준 샘플로 분해한 후에도 궤적 수준의 이점 균형을 유지하며; 검증 가능한 합성 태스크에 대한 정책 인식 필터링(policy-aware filtering)과 통과율 보정(pass-rate calibration)을 수행하고; 동적 삼중 적응 커리큘럼(DTAC, Dynamic Tri-Adaptive Curriculum)은 학습 가능한 태스크, 어려운 긍정 재생, 제어된 불가능 태스크 노출을 결합하며; 지연도 제어와 미니 그룹 배칭을 갖춘 완전 비동기 강화학습 인프라를 포함한다. 실험 결과, 이러한 구성 요소들이 학습 안정성과 다운스트림 성능을 향상시킴을 보여준다. EvoCUA-1.5는 OSWorld-Verified에서 63.2%의 성공률을 달성하여 비슷한 규모의 32B/35B 오픈 가중치(open-weight) 베이스라인을 능가하며, 훨씬 더 많은 매개변수를 가진 모델에도 근접하는 성능을 보인다. 전반적으로, EvoCUA-1.5는 멀티턴 컴퓨터 사용 에이전트에서 온라인 강화학습을 확장하기 위한 실용적인 프레임워크를 제공한다.
학습과 탐색을 통한 조합 최적화에서 인간형 해법 이해
Understanding Human-like Solutions in Combinatorial Optimization via Learning and Search
인간은 고급 컴퓨터 알고리즘에게도 계산적으로 어려운 조합 최적화 문제에 대해 종종 좋은 해를 찾는다. 유클리드 여행 판매원 문제(TSP)에서 사람들은 시간과 계산에 심각한 제약이 있음에도 불구하고 거의 최적인 경로(tour)를 빠르게 생성한다. 경로를 인간형으로 만드는 요인은 무엇이며, 이러한 해를 어떻게 학습할 수 있을까? 본 연구에서는 유클리드 TSP에서 인간의 수행을 대규모 행동 및 계산 조사를 통해 이러한 질문에 답한다. 우리는 TSP 인스턴스의 넓은 공간을 샘플링하고, 인간의 해를 수집했으며, 유효한 경로에 대한 확률 분포를 정의하는 어텐션 기반 포인팅 메커니즘을 갖춘 순환 신경망인 Pointer Networks에 기반한 신경 정책과 이를 비교했다. 우리는 강화학습(RL), 최적 경로로부터의 지도학습, 인간 경로로부터의 지도학습, 그리고 최적 경로 지도학습 사전학습 후 RL 미세조정을 포함한 여러 목적 함수로 이러한 네트워크를 학습시켰다. 인간의 경로는 최적 경로와 동일하지는 않았지만, 거의 최적인 기하학적 분지(basin)를 차지했다: 최적 해와 많은 구조적 특성을 공유하면서도 체계적인 인간 특유의 편차를 유지했다. 인간 경로에 대한 최상의 설명은 최적 경로의 직접적 모방이 아니라, 최적 경로로 사전학습하고 RL로 미세조정한 뒤 $\text{Best-of-}N$ 샘플링을 통해 디코딩한 모델이었다. 이러한 결과는 인간형 해가 구조화된 지도학습, RL, 테스트 시점 탐색의 결합으로부터 창발할 수 있음을 시사하며, 많은 현대 인공지능 시스템의 기반이 되는 계산 원리와 공명한다.
LeAct: 전문가 행동으로부터 추론 학습
LeAct: Learning to Reason from Expert Actions
현대 추론 모델은 추론 데이터에 의존하며, 오늘날 이는 인간 주석이나 더 강한 LLM으로부터 증류되어 공급된다. 그러나 풍부하고 아직 거의 활용되지 않은 감독 신호의 원천은 전문가 시스템(expert systems)(예: 게임 엔진, 고전적 플래너, 정리 증명기)에 있으며, 이들은 다양한 도메인에서 거의 최적에 가까운 행동을 일관되게 생성한다. 하지만 이러한 전문가들은 침묵한다. 그들은 행동 뒤에 있는 사고의 연쇄(CoT)를 적어두지 않은 채 행동을 선택한다. 해당 CoT를 자연어 추론으로 복원하면 전문가 지식을 시연된 행동을 넘어 일반화하는 학생 모델로 증류할 수 있다. 우리는 이를 잠재 변수(latent variable)로 취급하고 행동만으로 이를 복원하는 방법을 연구한다. 우리의 접근법 LeAct(Learning to reason from Actions)는 이 잠재 변수를 최적화한다. 학생 모델은 각 전문가 행동에 대한 후보 CoT를 샘플링하고, 행동을 복원할 자신의 확률을 측정 가능하게 향상시키는 것만을 유지한다. 여러 규모의 불완전 정보 게임과 시뮬레이션 로봇 벤치마크에서 LeAct는 작고 열거 가능한 게임에서 솔버의 수치적 하한(numerical floor)에 도달한다. 더 큰 규모에서는 가장 강력한 전문가 반복(expert-iteration) 기준선보다 솔버에 $5\times$ 더 가깝다. Flop Hold'em($\sim 10^9$ infosets)에서 LeAct는 일대일 대결에서 $+60$ mbb/g로 승리하며, 로봇 프로브에서는 직접 모방(direct imitation)을 개선하는 유일한 학습 방법이다. 우리는 원칙적인 프레임워크와 결과를 제시한다. 전문가 시스템이 기초 모델(foundation models)을 위한 범주적으로 새로운 추론 교사의 원천이 된다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.