PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11498v2cs.RO

로봇처럼 보기: VLA 모델을 위한 로봇 중심 포인트맵

See like a Robot: Robot-Centric Pointmaps for VLA Models

비전-언어-행동(VLA) 모델은 3D 공간 추론이 필요하지만, RGB 관측은 로봇-객체 기하를 암묵적으로만 인코딩한다. 카메라 내부 파라미터로 깊이를 리프팅하면 이 기하를 밀집하고 이미지에 정렬된 포인트맵(pointmap)으로 명시화할 수 있으나, 카메라 프레임 좌표는 카메라 배치에 따라 달라진다. 우리는 포인트맵을 엔드 이펙터(end-effector) 원점과 로봇 베이스에 정렬된 축을 갖는 로봇 중심 좌표계로 변환하는 SeeR-VLA를 제안한다. 사전학습된 RGB 가중치로 초기화한 인코더가 포인트맵 특징을 추출하고, 토큰 수를 늘리지 않은 채 대응하는 RGB 토큰에 더한다. 24개 RoboCasa 태스크와 4개의 실세계 태스크에서 SeeR-VLA는 RGB만 사용하는 $\pi_{0.5}$ 대비 평균 성공률을 각각 6.4 및 32.5퍼센트포인트 향상시킨다. 또한 평가한 3D 보강 기준선 중 최강인 PointVLA를 각각 3.5 및 23.7퍼센트포인트 능가한다. 이러한 향상 외에, ablation을 통해 좌표 선택이 VLA 성능에 미치는 영향을 밝혔으며, 엔드 이펙터 중심화는 로봇 베이스 정렬 축과 함께할 때 가장 효과적임을 보였다. 학습 시점(viewpoint)이 다양해질수록 이점이 커지며, 다양한 카메라 구성에서 학습할 때 로봇 프레임 포인트맵을 사용하는 것이 중요함을 강조한다.