자세에 강건한 소수 샷 비전-언어-행동 모델을 향하여
Towards Pose-Robust Few-Shot Vision-Language-Action Models
한국어 초록
수십 개의 시연으로 비전-언어-행동(VLA) 모델을 미세조정하는 것은 조작 정책을 로봇에 적용하는 표준적인 방법이지만, 그렇게 얻은 정책은 카메라와 로봇 베이스가 데이터 수집 때의 위치에 정확히 머문다고 암묵적으로 가정한다. 삼각대가 살짝 밀리거나 베이스가 몇 센티미터 어긋나게 다시 도킹되면 정책은 엉뚱한 곳으로 손을 뻗는다. 본 논문은 이 두 실패가 모두 정책이 암기한 카메라-베이스 외부 파라미터의 변화라는 하나의 현상이며, 로봇이 이를 되돌리는 데 필요한 모든 것을 지니고 있음을 보인다. 이에 VLA 모델을 위한 세계 고정 정준화 프레임워크 WACO를 소개한다. 측정된 관절 각도에서 순기구학으로 배치된 로봇 팔은 미터법 보정 대상으로 쓰이고, 정적 장면은 카메라가 움직였는지 로봇이 움직였는지 구분하게 하는 세계 앵커로 쓰인다. WACO는 단일 RGB-D 프레임으로부터 정답 외부 파라미터나 추가 데이터 없이 두 변화를 모두 추정하고, 영상을 보정 시점으로, 상태·행동·시작 자세를 보정 베이스 프레임으로 정준화하며, 수정하지 않은 정책을 자체 추정기가 만드는 아티팩트 아래에서 미세조정한다. 또한 단계별 카메라, 베이스, 복합 변화를 갖춘 RGB VLA용 최초의 벤치마크 LIBERO-PoseShift를 소개한다. LIBERO-PoseShift, LIBERO-Plus 카메라 트랙, UR5e 로봇의 실제 과제 네 가지 전반에서 WACO는 표준 소수 샷 방식과 기존 시점 강건 방법을 일관되게 능가하여, 변화가 있는 조건의 성공률을 시뮬레이션에서 13.2포인트, 실제 로봇에서 36.7포인트 높이고, 정답 오라클과의 격차를 시뮬레이션에서 90%, 실제 로봇에서 87% 회복하며, 교란된 학습 데이터를 쓰지 않고 테스트 시점 보정도 없는 방법 중 새로운 최고 성능을 확립한다. 프로젝트 페이지: https://peacelwh.github.io/WACO/.
원문 초록
Fine-tuning a vision-language-action (VLA) model on a few dozen demonstrations is the standard way to put a manipulation policy on a robot, yet the resulting policy silently assumes that the camera and the robot base stay exactly where they were during data collection: a bumped tripod or a base re-docked a few centimetres away makes it reach for the wrong place. We show that both failures are one phenomenon, a change of the camera-to-base extrinsic that the policy has memorised, and that the robot carries everything needed to undo it. We introduce WACO, a world-anchored canonicalization framework for VLA models: the arm, placed by forward kinematics at the measured joint angles, serves as a metric calibration target, and the static scene serves as the world anchor that tells a moved camera from a moved robot. From a single RGB-D frame, WACO estimates both shifts without ground-truth extrinsics or extra data, canonicalises the image to the calibration viewpoint and the state, action and start pose to the calibration base frame, and fine-tunes the unmodified policy under the artefacts of its own estimator. We also introduce LIBERO-PoseShift, the first benchmark for RGB VLAs with graded camera, base and compound shifts. Across LIBERO-PoseShift, the LIBERO-Plus camera track and four real-world tasks on a UR5e robot, WACO consistently outperforms the standard few-shot recipe and prior viewpoint-robust methods, raising shifted success by 13.2 points in simulation and by 36.7 points on the real robot, recovering 90% of the simulation gap to a ground-truth oracle and 87% of the real-robot gap, and establishing a new state of the art among methods that use no perturbed training data, with no test-time calibration. Project page: https://peacelwh.github.io/WACO/.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24360v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.