ROVE: 강화학습을 통해 휴머노이드 조작을 위한 인간 개입 활용하기
ROVE: Unlocking Human Interventions for Humanoid Manipulation via Reinforcement Learning
한국어 초록
인간의 개입(human intervention)은 비전-언어-행동(VLA, Vision-Language-Action) 모델의 사후 학습에 결정적인 교정 신호를 제공합니다. 그러나 복잡한 전신 기구학과 정교한 손 제어로 인해 매끄러운 휴머노이드 개입을 구현하는 것은 상당한 시스템적 과제입니다. 결과적으로 수집된 개입 궤적은 최적이 아닌 경우가 많으며, 인간의 개입을 전문가 감독으로 간주하는 방식은 머뭇거리거나 비효율적이거나 심지어 오류가 있는 행동까지 흡수할 수 있습니다. 이러한 시스템 및 알고리즘적 문제를 모두 해결하기 위해, 본 논문에서는 불완전한 인간 개입을 활용하여 휴머노이드 VLA를 사후 학습하는 강화학습 프레임워크인 ROVE를 제안합니다. 첫째, ROVE는 휴머노이드 조작을 위한 배포 및 개입 데이터를 수집할 수 있는 인간 참여형(human-in-the-loop) 파이프라인을 도입합니다. 둘째, 낙관적 가치 추정(OVE, Optimistic Value Estimation)을 활용하여 다양한 품질이 혼재된 궤적에서 가치가 높은 행동의 우선순위를 정합니다. 가치 추정을 더욱 견고하게 만들기 위해 교차 임바디먼트(cross-embodiment) 인간 경험 비디오를 통합하여 롱테일 실패 및 복구 모드에 대한 풍부한 감독 정보를 제공합니다. 이를 통해 도출된 크리틱(critic)은 유익한 어드밴티지 신호를 생성하여, VLA 액터가 모든 행동을 무차별적으로 모방하는 대신 가치가 높은 행동에 집중하도록 유도합니다. 까다로운 실제 환경의 접촉 집약적이고 정밀한 휴머노이드 조작 태스크에서, ROVE는 경험 학습 베이스라인들을 능가하며 여러 번의 롤아웃-개입 반복 과정에 걸쳐 지속적으로 성능을 향상시킵니다.
원문 초록
Human interventions provide crucial corrective signals for post-training Vision-Language-Action (VLA) models. However, enabling seamless humanoid interventions is a formidable systems challenge due to complex whole-body kinematics and dexterous-hand control. Consequently, the collected intervention trajectories are often suboptimal, and methods that rely on human interventions as expert supervision can absorb hesitant, inefficient, or even erroneous behaviors. To address both the system and algorithmic challenges, we propose ROVE, a reinforcement learning framework for humanoid VLA post-training with imperfect human interventions. First, ROVE introduces a human-in-the-loop pipeline capable of collecting deployment and intervention data for humanoid manipulation. Second, it utilizes Optimistic Value Estimation (OVE) to prioritize high-value behaviors from mixed-quality trajectories. To further robustify value estimation, we incorporate cross-embodiment human experience videos to provide rich supervision for long-tailed failure and recovery modes. The resulting critic yields informative advantage signals, steering the VLA actor to focus on high-value behaviors rather than indiscriminately imitating all actions. On challenging real-world contact-rich and fine-grained humanoid manipulation tasks, ROVE outperforms experience-learning baselines and consistently improves across multiple rollout-intervention iterations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크
Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids
벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.
표현 앵커링과 언어-행동 정렬을 통한 일반화 가능한 VLA 파인튜닝
Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment
JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크
JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation
비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.
LM-X: 진행도, 이벤트 및 불확실성 예측을 통한 설명 가능한 비전-언어-행동 모델링
LM-X: Explainable Vision--Language--Action Modeling via Progress, Event, and Uncertainty Prediction
대규모 비전-언어-행동(VLA, Vision-Language-Action) 정책은 범용 로봇 제어를 발전시켰으나, 대부분은 자극-행동 간 블랙박스로 남아 있습니다. 즉 행동은 표출되지만 그 설명적 상태는 드러나지 않습니다. 이들은 작업 진행도, 다음 의미적 전이(semantic transition), 국소 명령 신뢰도라는 세 가지 설명 신호를 본질적으로 제공하지 못합니다. 선행 연구는 진행도와 이벤트 구조가 장기 과제 제어(long-horizon control)에 도움을 주고 불확실성이 모니터링을 지원함을 보여주지만, 이러한 기능들은 일반적으로 행동 사전학습(pre-training) 이후에야 추가되거나 추출됩니다. 따라서 학계에는 설명적 상태가 제어와 함께 공동 사전학습되는 VLA 파운데이션 모델이 부재한 상황입니다. 결과 민감적이고 이벤트 분절적이며 확률론적인 예측이 행동을 구조화하는 생물학적 감각운동 체계에 착안하여, 본 연구는 LM-X를 제안합니다. LM-X는 직접 지도 학습되는 세 가지 온라인 신호를 학습합니다. 잔여 보상(RTG, Return-To-Go)은 가시적 진행도와 상태 품질을 추정하고, 잔여 이벤트(ETG, Event-To-Go)는 다음 의미적 이벤트까지의 행동 시퀀스를 예측하며, 이분산 행동 흐름 분산(heteroscedastic action-flow variance)은 국소 명령 신뢰도를 보고합니다. RTG는 ETG의 조건으로 작용하고 둘 모두 행동 생성의 조건이 되며, 불확실성은 행동 전문가 내부에서 추정되어 사후 설명이 아닌 제어의 일부로서 설명이 이루어집니다. 본 연구는 실패한 1,000시간 이상의 롤아웃을 포함해 20,000시간 이상의 이종 실제 로봇 궤적을 대상으로 LM-X를 사전학습했습니다. LM-X는 무작위 고난도 RoboTwin2.0 과제 50개에서 74.1%, 실제 로봇 과제 7개에서 73.5%의 성공률을 달성하여, 각각 55.4%와 50.7%를 기록한 GR00T N1.7을 앞섰습니다. 본 모델의 신호는 진행과 퇴행을 추적하고, 이벤트 단위의 움직임을 예측하며, 높은 오차의 행동을 감지하고, 실패를 사전에 경고합니다. 이러한 결과는 LM-X가 투명한 예측 상태를 더욱 강력한 범용 제어와 결합한 설명 가능한 VLA 파운데이션 모델임을 입증합니다. Github: https://github.com/loongOpen/LoongWu-LM-X-VLA
HIL-UMI: 범용 조작 인터페이스(Universal Manipulation Interface)를 활용한 비전-언어-행동 모델의 인간 참여형 사후 학습
HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface
대규모 비전-언어-행동(VLA, Vision-Language-Action) 모델은 로봇 조작을 위한 강력한 사전 지식을 제공하지만, 특정 실제 환경에 이를 적용하는 것은 여전히 어려운 과제입니다. 태스크별 시연 데이터에 대한 지도 미세조정(SFT)은 배포를 위한 한 걸음을 제공하지만 두 가지 지속적인 한계에 직면합니다. 정적 데이터는 분포 외(OOD, out-of-distribution) 상태에 대한 커버리지가 제한적이며, 표준 모방 학습 목적 함수는 진전을 보이는 행동과 덜 유용한 데이터를 구별하지 못합니다. 대화형 사후 학습(interactive post-training)은 이러한 한계를 해결할 수 있지만, 일반적으로 물리적 로봇에서 반복적인 정책 실행 및 인간의 개입을 필요로 합니다. 본 논문에서는 로봇 없이도 인간 참여형(human-in-the-loop) VLA 사후 학습을 가능하게 하는 정책 기반 범용 조작 인터페이스(UMI, Universal Manipulation Interface) 프레임워크인 HIL-UMI를 소개합니다. 휴대형 UMI 시연 도중, HIL-UMI는 정책의 예측을 직접 실행하지 않으면서 동일한 관측 스트림에 대해 현재 정책을 쿼리합니다. 에너지 점수(Energy Score)는 인간의 행동 궤적과 정책 추론을 비교하여, 그 불일치가 분포 외 영역을 나타낼 때 데이터 수집을 유도합니다. 별도의 피드백 루프에서는 낮은 온라인 어드밴티지(advantage) 예측을 통해 진행도 기반 어드밴티지 추정기를 개선하는 데 필수적인 세그먼트를 식별합니다. 이렇게 업데이트된 추정기는 기본 시연 데이터와 새로운 정책 데이터의 균형 잡힌 혼합을 사용하여 어드밴티지 조건부 행동 복제(behavioral cloning)를 안내합니다. 이러한 설계는 데이터 수집을 로봇 배포와 분리하면서도 인간 참여형 학습의 반복적이고 정책 인식적인 특성을 유지합니다. 긴 수평선(long-horizon) 및 정밀 조작을 아우르는 4가지 실제 환경 태스크에 대한 실험 결과, HIL-UMI는 SFT 대비 일관된 성능 향상을 달성하며 목표 지향적 수집과 어드밴티지 개선 모두에서 이점을 얻음을 보여줍니다. 또한 HIL-UMI는 Clean Up Table 태스크에서 더 낮은 프레임당 수집 시간으로 HG-DAgger보다 우수한 성능을 보여, 다양한 작업자와 위치 전반에서 확장 가능한 VLA 사후 학습 경로를 제시합니다.
미래를 상상하고 핵심을 내면화하기: 내면화된 시공간 상상을 통한 효율적인 VLA 추론
Imagine the Future, Internalize the Gist: Efficient VLA Reasoning via Internalized Spatiotemporal Imagination
비전-언어-행동(Vision-Language-Action, VLA) 모델은 로봇 조작 능력을 향상시키기 위해 중간 추론(intermediate reasoning)을 점진적으로 통합하고 있으나, 기존 접근법들은 미래 장면의 변화를 명시적으로 예측하지 않고 주로 관찰된 상태만을 바탕으로 추론합니다. 그러나 이러한 추론을 모든 추론(inference) 단계에서 명시적인 미래 롤아웃(rollout)으로 확장하는 것은 상당한 연산 오버헤드를 유발합니다. 본 논문에서는 모델이 미래를 상상하고 핵심(gist)을 내면화할 수 있도록 하는 VLA 추론 프레임워크인 IG-VLA를 제안합니다. 제안하는 잠재 시공간 추론(Latent Spatiotemporal Reasoning)은 시각적 표현 공간에서 직접 작업과 관련된 미래 장면 변화를 상상하도록 학습하여, 비용이 많이 드는 픽셀 수준의 비디오 생성 없이도 행동 예측을 유도합니다. 추론 오버헤드를 더욱 줄이기 위해, 추론을 통해 도출된 장면-행동 연관성을 컴팩트한 장면 요약 토큰(Scene Gist Token)으로 내면화하는 장면 요약 메모리(Scene Gist Memory)를 도입하여, 추론 시 명시적인 미래 상상을 거치지 않으면서도 미래 추론의 이점을 유지하도록 합니다. LIBERO, LIBERO-Plus 및 VLABench에 대한 광범위한 실험은 IG-VLA의 효과성과 효율성을 입증합니다. LIBERO-Plus Language 제품군에서 추론 정책과 요약 정책 모두 성공률 면에서 가장 강력한 기준선(baseline) 대비 약 6% 높은 성능을 보였습니다. 또한 요약 정책은 기준선 대비 최대 6.38배의 속도 향상을 달성하여, 단일 NVIDIA A6000 GPU에서 액션 청크당 추론 지연 시간을 1081ms에서 169.5ms로 단축했습니다. 이러한 결과는 효율적인 VLA 배포를 위해 미래 시공간 추론이 효과적으로 내면화될 수 있음을 보여줍니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.