HIL-UMI: 범용 조작 인터페이스(Universal Manipulation Interface)를 활용한 비전-언어-행동 모델의 인간 참여형 사후 학습
HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface
한국어 초록
대규모 비전-언어-행동(VLA, Vision-Language-Action) 모델은 로봇 조작을 위한 강력한 사전 지식을 제공하지만, 특정 실제 환경에 이를 적용하는 것은 여전히 어려운 과제입니다. 태스크별 시연 데이터에 대한 지도 미세조정(SFT)은 배포를 위한 한 걸음을 제공하지만 두 가지 지속적인 한계에 직면합니다. 정적 데이터는 분포 외(OOD, out-of-distribution) 상태에 대한 커버리지가 제한적이며, 표준 모방 학습 목적 함수는 진전을 보이는 행동과 덜 유용한 데이터를 구별하지 못합니다. 대화형 사후 학습(interactive post-training)은 이러한 한계를 해결할 수 있지만, 일반적으로 물리적 로봇에서 반복적인 정책 실행 및 인간의 개입을 필요로 합니다. 본 논문에서는 로봇 없이도 인간 참여형(human-in-the-loop) VLA 사후 학습을 가능하게 하는 정책 기반 범용 조작 인터페이스(UMI, Universal Manipulation Interface) 프레임워크인 HIL-UMI를 소개합니다. 휴대형 UMI 시연 도중, HIL-UMI는 정책의 예측을 직접 실행하지 않으면서 동일한 관측 스트림에 대해 현재 정책을 쿼리합니다. 에너지 점수(Energy Score)는 인간의 행동 궤적과 정책 추론을 비교하여, 그 불일치가 분포 외 영역을 나타낼 때 데이터 수집을 유도합니다. 별도의 피드백 루프에서는 낮은 온라인 어드밴티지(advantage) 예측을 통해 진행도 기반 어드밴티지 추정기를 개선하는 데 필수적인 세그먼트를 식별합니다. 이렇게 업데이트된 추정기는 기본 시연 데이터와 새로운 정책 데이터의 균형 잡힌 혼합을 사용하여 어드밴티지 조건부 행동 복제(behavioral cloning)를 안내합니다. 이러한 설계는 데이터 수집을 로봇 배포와 분리하면서도 인간 참여형 학습의 반복적이고 정책 인식적인 특성을 유지합니다. 긴 수평선(long-horizon) 및 정밀 조작을 아우르는 4가지 실제 환경 태스크에 대한 실험 결과, HIL-UMI는 SFT 대비 일관된 성능 향상을 달성하며 목표 지향적 수집과 어드밴티지 개선 모두에서 이점을 얻음을 보여줍니다. 또한 HIL-UMI는 Clean Up Table 태스크에서 더 낮은 프레임당 수집 시간으로 HG-DAgger보다 우수한 성능을 보여, 다양한 작업자와 위치 전반에서 확장 가능한 VLA 사후 학습 경로를 제시합니다.
원문 초록
Large-scale vision-language-action (VLA) models provide powerful priors for robot manipulation, yet adapting them to a specific deployment remains challenging. Supervised fine-tuning (SFT) on task-specific demonstrations provides a step toward deployment, but faces two persistent limitations: static data provide limited coverage of out-of-distribution states, and standard imitation objectives do not distinguish progressing behavior from less useful data. Interactive post-training can address these limitations, but typically requires repeated policy execution and human intervention on a physical robot. We introduce HIL-UMI, a policy-guided Universal Manipulation Interface (UMI) framework for robot-free human-in-the-loop VLA post-training. During handheld UMI demonstrations, HIL-UMI queries the current policy on the same observation stream without executing its predictions. The Energy Score compares the human action trajectory with policy inference and triggers collection when their discrepancy indicates an out-of-distribution region. In a separate feedback loop, low online advantage predictions identify essential segments for refining a progress-based advantage estimator. The updated estimator then guides advantage-conditioned behavioral cloning using a balanced mixture of base demonstrations and new policy data. This design preserves the iterative and policy-aware nature of human-in-the-loop learning while decoupling data collection from robot deployment. Experiments on four real-world tasks spanning long-horizon and precise manipulation show that HIL-UMI achieves consistent improvement over SFT and benefits from both targeted collection and advantage refinement. Moreover, HIL-UMI outperforms HG-DAgger on Clean Up Table with lower per-frame collection time, suggesting a scalable path for VLA post-training across operators and locations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습
BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models
비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.
VLAC-Cut 가이드 파이프라인을 통한 대규모 로봇 사후 학습에서의 인간 효율성 극대화
Maximizing Human Efficiency in Large-Scale Robot Post-Training via VLAC-Cut Guided Pipeline
비전-언어-액션(VLA) 모델을 다운스트림 태스크에 적응시킬 때, 단일 라운드의 데이터로는 모든 문제를 해결할 수 없기 때문에 여러 라운드의 사후 학습이 필요하며, 이전 라운드에서 드러난 약점을 점진적으로 해결하기 위한 지속적인 반복이 불가결합니다. 본 보고서에서는 사후 학습 과정에서의 인간 효율성 극대화를 목표로 합니다. 여기서 인간 효율성은 단위 인력 및 시간당 달성되는 정책 개선과 태스크 처리량으로 정의됩니다. 우리는 소수의 인간 운영자가 여러 로봇을 감독할 수 있도록 하는 인간 효율적 사후 학습 파이프라인을 제안합니다. 이 파이프라인은 전문화된 분업 구조를 중심으로 구성됩니다: 숙련된 원격 조작자(Teleoperator)는 고가치 원격 개입과 복구 시연에 집중하고, 현장 운영자(Floor Operator)는 여러 로봇을 모니터링하며 개입을 트리거하고 물리적 리셋을 수행합니다. 이러한 역할 특화는 태스크 전환을 줄이고 운영자 학습 비용을 낮추며, 제한된 인력으로 더 큰 규모의 플릿에서 더 많은 로봇 상호작용을 감독할 수 있게 합니다. 데이터 활용 효율성을 향상시키기 위해, 우리는 자동 롤아웃 큐레이션 도구로 VLAC-CUT을 도입합니다. VLAC-CUT은 자율 로봇 궤적을 진행 구간, 유휴 구간, 실패 유발 구간, 복구 구간으로 분할하여 유용한 구간은 보존하고 유해하거나 정보가 없는 구간은 필터링합니다. 큐레이션된 롤아웃 데이터는 다음 사후 학습 라운드를 위해 휴먼-인-더-루프(HITL) 데이터와 결합됩니다. 우리는 네 가지 실세계 조작 태스크에서 제안된 파이프라인을 검증합니다. 반복적인 사후 학습 라운드를 거쳐 최종 정책은 80%–95%의 성공률을 달성하고 기반 모델 대비 태스크 처리량을 1.7×–4.2× 향상시킵니다. 동일한 인간 개입 예산 하에서, VLAC-CUT 가이드 롤아웃 재사용은 성공률과 처리량 모두에서 HITL 단독 학습을 능가합니다.
실험실-매장 격차 해소: 소매 휴머노이드를 위한 데이터 효율적 사후 학습 및 경험 기반 학습 VLA 프레임워크
Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids
벤치마크 성능과 신뢰할 수 있는 실세계 운용 사이의 격차를 좁히는 것은 실행 오류, 분포 이동(distribution shift), 환경 변동성을 처리해야 하는 비전-언어-행동(VLA) 휴머노이드 로봇의 핵심 과제로 남아 있다. 본 논문은 DEED(Data-Efficient Post-Training and Experience-Driven Learning, 데이터 효율적 사후 학습 및 경험 기반 학습)를 제안하며, 이는 Unitree G1-Edu 휴머노이드 로봇과 GR00T N1.6 파운데이션 모델을 사용한 슈퍼마켓 과자 재입고 작업에서 평가된 시스템 수준 접근법이다. DEED는 세 가지 핵심 구성 요소로 이루어진다: (1) 제어 주파수 정렬, 데이터 큐레이션, 작업 관련 시각적 강조, VLA 의존도 감소를 포함하는 데이터 효율적 사후 학습 파이프라인; (2) 텍스트 기반 advantage 접두 문맥과 비전-언어 가치 함수를 통해 RECAP에서 적용한 경험 기반 정제의 실세계 연구; (3) 분포 내(in-distribution) 및 분포 외(out-of-distribution) 행동을 연구하기 위한 잠재 공간(latent-space) 분석 도구. 우리의 결과는 실험실-매장 격차를 메우는 것이 주로 아키텍처 문제가 아니라 시스템 통합 과제임을 시사한다. 신중한 데이터 설계와 표적화된 사후 학습은 단순 미세조정에서 실패하는 정책을 단일 GPU만으로 유능한 실세계 시스템으로 변환할 수 있다.
표현 앵커링과 언어-행동 정렬을 통한 일반화 가능한 VLA 파인튜닝
Generalizable VLA Finetuning via Representation Anchoring and Language-Action Alignment
JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크
JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation
비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.
LM-X: 진행도, 이벤트 및 불확실성 예측을 통한 설명 가능한 비전-언어-행동 모델링
LM-X: Explainable Vision--Language--Action Modeling via Progress, Event, and Uncertainty Prediction
대규모 비전-언어-행동(VLA, Vision-Language-Action) 정책은 범용 로봇 제어를 발전시켰으나, 대부분은 자극-행동 간 블랙박스로 남아 있습니다. 즉 행동은 표출되지만 그 설명적 상태는 드러나지 않습니다. 이들은 작업 진행도, 다음 의미적 전이(semantic transition), 국소 명령 신뢰도라는 세 가지 설명 신호를 본질적으로 제공하지 못합니다. 선행 연구는 진행도와 이벤트 구조가 장기 과제 제어(long-horizon control)에 도움을 주고 불확실성이 모니터링을 지원함을 보여주지만, 이러한 기능들은 일반적으로 행동 사전학습(pre-training) 이후에야 추가되거나 추출됩니다. 따라서 학계에는 설명적 상태가 제어와 함께 공동 사전학습되는 VLA 파운데이션 모델이 부재한 상황입니다. 결과 민감적이고 이벤트 분절적이며 확률론적인 예측이 행동을 구조화하는 생물학적 감각운동 체계에 착안하여, 본 연구는 LM-X를 제안합니다. LM-X는 직접 지도 학습되는 세 가지 온라인 신호를 학습합니다. 잔여 보상(RTG, Return-To-Go)은 가시적 진행도와 상태 품질을 추정하고, 잔여 이벤트(ETG, Event-To-Go)는 다음 의미적 이벤트까지의 행동 시퀀스를 예측하며, 이분산 행동 흐름 분산(heteroscedastic action-flow variance)은 국소 명령 신뢰도를 보고합니다. RTG는 ETG의 조건으로 작용하고 둘 모두 행동 생성의 조건이 되며, 불확실성은 행동 전문가 내부에서 추정되어 사후 설명이 아닌 제어의 일부로서 설명이 이루어집니다. 본 연구는 실패한 1,000시간 이상의 롤아웃을 포함해 20,000시간 이상의 이종 실제 로봇 궤적을 대상으로 LM-X를 사전학습했습니다. LM-X는 무작위 고난도 RoboTwin2.0 과제 50개에서 74.1%, 실제 로봇 과제 7개에서 73.5%의 성공률을 달성하여, 각각 55.4%와 50.7%를 기록한 GR00T N1.7을 앞섰습니다. 본 모델의 신호는 진행과 퇴행을 추적하고, 이벤트 단위의 움직임을 예측하며, 높은 오차의 행동을 감지하고, 실패를 사전에 경고합니다. 이러한 결과는 LM-X가 투명한 예측 상태를 더욱 강력한 범용 제어와 결합한 설명 가능한 VLA 파운데이션 모델임을 입증합니다. Github: https://github.com/loongOpen/LoongWu-LM-X-VLA
토론
이 논문과 연결된 포럼 글이 아직 없습니다.