HIL-UMI: 범용 조작 인터페이스(Universal Manipulation Interface)를 활용한 비전-언어-행동 모델의 인간 참여형 사후 학습
HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface
대규모 비전-언어-행동(VLA, Vision-Language-Action) 모델은 로봇 조작을 위한 강력한 사전 지식을 제공하지만, 특정 실제 환경에 이를 적용하는 것은 여전히 어려운 과제입니다. 태스크별 시연 데이터에 대한 지도 미세조정(SFT)은 배포를 위한 한 걸음을 제공하지만 두 가지 지속적인 한계에 직면합니다. 정적 데이터는 분포 외(OOD, out-of-distribution) 상태에 대한 커버리지가 제한적이며, 표준 모방 학습 목적 함수는 진전을 보이는 행동과 덜 유용한 데이터를 구별하지 못합니다. 대화형 사후 학습(interactive post-training)은 이러한 한계를 해결할 수 있지만, 일반적으로 물리적 로봇에서 반복적인 정책 실행 및 인간의 개입을 필요로 합니다. 본 논문에서는 로봇 없이도 인간 참여형(human-in-the-loop) VLA 사후 학습을 가능하게 하는 정책 기반 범용 조작 인터페이스(UMI, Universal Manipulation Interface) 프레임워크인 HIL-UMI를 소개합니다. 휴대형 UMI 시연 도중, HIL-UMI는 정책의 예측을 직접 실행하지 않으면서 동일한 관측 스트림에 대해 현재 정책을 쿼리합니다. 에너지 점수(Energy Score)는 인간의 행동 궤적과 정책 추론을 비교하여, 그 불일치가 분포 외 영역을 나타낼 때 데이터 수집을 유도합니다. 별도의 피드백 루프에서는 낮은 온라인 어드밴티지(advantage) 예측을 통해 진행도 기반 어드밴티지 추정기를 개선하는 데 필수적인 세그먼트를 식별합니다. 이렇게 업데이트된 추정기는 기본 시연 데이터와 새로운 정책 데이터의 균형 잡힌 혼합을 사용하여 어드밴티지 조건부 행동 복제(behavioral cloning)를 안내합니다. 이러한 설계는 데이터 수집을 로봇 배포와 분리하면서도 인간 참여형 학습의 반복적이고 정책 인식적인 특성을 유지합니다. 긴 수평선(long-horizon) 및 정밀 조작을 아우르는 4가지 실제 환경 태스크에 대한 실험 결과, HIL-UMI는 SFT 대비 일관된 성능 향상을 달성하며 목표 지향적 수집과 어드밴티지 개선 모두에서 이점을 얻음을 보여줍니다. 또한 HIL-UMI는 Clean Up Table 태스크에서 더 낮은 프레임당 수집 시간으로 HG-DAgger보다 우수한 성능을 보여, 다양한 작업자와 위치 전반에서 확장 가능한 VLA 사후 학습 경로를 제시합니다.