ReRead: 틀린 예측, 유용한 표현 - 자신의 표현을 다시 읽어 고정된 로봇 정책을 교정하기
ReRead: Wrong Predictions, Useful Representations - Correcting Frozen Robot Policies by Re-reading Their Own Representations
한국어 초록
사전 학습된 로봇 정책이 어려운 과제에서 실패할 때, 흔한 해결책으로는 백본 재학습, 외부 시각 인코더 추가, 메모리 모듈 도입 등이 있다. 우리는 틀린 예측이 틀린 표현을 의미하지는 않는다고 주장한다. 즉 정책이 필요한 정보를 보유하고 있으면서도 이를 올바른 행동으로 읽어내지 못해 실패할 수 있다. 이 관점을 검증하기 위해 ReRead를 제안한다. 백본을 고정한 상태에서 교정기가 현재 캐시와 이전 두 캐시를 다시 읽어 행동 잔차를 예측한다. 교정기는 이미지를 보지 않으며, RoboTwin 2.0의 50개 전체 과제에 대한 오프라인 시연만으로 학습되고, 추가되는 지연 시간은 4.17%에 불과하다. 절제 실험과 개입 실험은 이 교정이 백본 자체의 표현에 의존함을 보여준다. 네 가지 외부 시각 인코더 중 어느 것도 추가 이득을 주지 못했고, 다른 궤적의 과거 캐시로 바꾸면 행동 오차가 크게 증가한다. 가장 어려운 RoboTwin 2.0 과제 11개에서 ReRead는 LingBot-VLA, $\pi_{0.5}$, Fast-WAM의 성공률을 각각 23.45, 13.09, 8.00 퍼센트포인트 향상시켰다. 50개 전체 과제에 대한 쌍체 평가에서는 Fast-WAM의 평균 성공률을 90.73%에서 92.66%로 높였다. Flexiv 양팔 로봇에서는 단계가 모호한 과제의 성공률을 0%에서 36%로 높였다.
원문 초록
When a pretrained robot policy fails on challenging tasks, common remedies include retraining the backbone, adding an external visual encoder, or introducing a memory module. We argue that wrong predictions do not imply wrong representations: a policy can retain the required information yet fail to read it out as the correct action. To test this view, we propose ReRead: with the backbone frozen, a corrector re-reads the current and two previous caches to predict an action residual. The corrector sees no images, is trained solely on offline demonstrations from all 50 RoboTwin 2.0 tasks, and adds only 4.17% latency. Ablations and interventions show that the correction relies on the backbone's own representations: none of four external visual encoders adds further gain, and swapping in past caches from other trajectories sharply increases action error. On the 11 hardest RoboTwin 2.0 tasks, ReRead improves the success rates of LingBot-VLA, $\pi_{0.5}$, and Fast-WAM by 23.45, 13.09, and 8.00 percentage points, respectively. In paired evaluation on all 50 tasks, it raises Fast-WAM's average success rate from 90.73% to 92.66%. On a Flexiv dual-arm robot, it raises success on a phase-ambiguous task from 0% to 36%.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.