고정된 비전-언어-행동 모델을 위한 저지연 행동 검증 학습
Learning Low-Latency Action Verification for Frozen Vision-Language-Action Models
한국어 초록
비전-언어-행동(VLA) 모델은 범용 로봇 조작 분야에서 상당한 진전을 이루었다. 그러나 샘플링된 행동 시퀀스는 효과적이지 않을 수 있으며, 계산 비용이 큰 검증기로 대안을 평가하면 정책 질의마다 지연이 추가된다. 본 연구에서는 고정된 VLA 자체의 배포 경험에서 얻은 사후 정보(hindsight)를 활용해 행동 검증을 개선하는 경량 프레임워크 HDH를 제안한다. 이 프레임워크는 세 단계로 구성된다. 먼저 정책을 배포하여 자율 롤아웃을 수집한다. 이어서 각 행동 청크에 예측된 과제 성공 점수를 부여하는 소형 행동 검증기를 학습한다. 마지막으로 고정된 VLA가 행동 후보를 생성하고, 검증기가 가장 높은 점수의 후보를 선택하여 실행한다. LIBERO-10의 4개 과제에서 HDH는 평균 성공률 82.3%를 달성하였고, 3개의 실제 환경 조작 과제에서는 기준 정책 대비 평균 성공률을 22.6% 향상시켰다.
원문 초록
Vision-language-action (VLA) models have made significant progress in general-purpose robotic manipulation. However, sampled action sequences can be ineffective, while evaluating alternatives with computationally expensive verifiers adds latency at each policy query. In this work, we propose HDH, a lightweight framework that uses hindsight from a frozen VLA's own deployments to improve action verification. The framework has three stages. First, we deploy the policy and collect its autonomous rollouts. We then train a compact action verifier to assign each action chunk a predicted task-success score. Finally, the frozen VLA generates action candidates, and the verifier selects the candidate with the highest score for execution. Across four LIBERO-10 tasks, HDH achieves an average success rate of 82.3\% and on three real-world manipulation tasks, HDH improves average success over the baseline policy by 22.6\%.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.14834v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.