PlanDiv: 비전-언어-행동 모델을 위한 잠재 계획 기반 테스트 시점 스케일링
PlanDiv: Test-Time Scaling with Latent Plans for Vision-Language-Action Models
한국어 초록
테스트 시점 스케일링은 여러 행동 후보를 뽑아 가장 좋은 것을 실행해 비전-언어-행동(VLA) 정책을 개선한다. 같은 디코더에서 후보를 다시 뽑으면 개선 폭이 빠르게 줄어든다. 후보 사이의 차이가 계획보다 잡음에서 비롯되기 때문이다. 세 가지 재표본 추출 방식 모두에서 후보를 네 개에서 여덟 개로 늘려도 CALVIN의 평균 완료 과제 수는 0.06~0.07만큼만 늘었다. 본 연구는 후보별로 계획을 달리하는 행동 헤드 PlanDiv를 제안한다. 경량 계획기가 K개의 잠재 계획 가설을 제안하고, 공유 마스크 확산 실행기가 백본을 한 번 실행한 결과로 각 계획의 행동 청크 하나를 디코딩한다. 정책은 자체 가능도가 가장 높게 평가한 청크를 실행한다. 계획 레이블이나 보상 없이 시연만으로 계획을 학습한다. 백본과 데이터, 학습 절차를 고정한 상태에서 계획을 조건으로 얻은 후보 여덟 개는 CALVIN ABC$\rightarrow$D의 다섯 과제 연쇄 성공률을 56.9%에서 69.9%로 높였다. 자기회귀 방식, 계획 없이 재표본 추출하는 방식, 같은 계획에서 재표본 추출하는 방식은 후보가 여덟 개일 때 최대 64.9%였다. 같은 계획을 사용하는 기준선은 PlanDiv 자체 체크포인트에서 계획만 고정한 모델이므로 이 격차는 표본 수가 아닌 계획의 다양성에서 비롯된다. LIBERO-Long에서 계획 네 개를 사용하면 단일 후보에서 발생한 실패의 40%를 없앴으며, 같은 수의 후보를 뽑는 재표본 추출 방식은 최대 21%를 없앴다. 실제 Franka 로봇 팔에서는 해결 방법이 여러 개인 과제에서 개선이 나타났다. 해결 방법이 하나인 과제에서는 단일 출력을 내는 OpenVLA-OFT+ 기준선과 비슷했다. 해결 방법이 두 가지인 과제 두 개에서 PlanDiv는 54회 중 51회 성공했으며, 기준선은 54회 중 40회 성공했다.
원문 초록
Test-time scaling improves vision-language-action (VLA) policies by drawing several action candidates and executing the best one. We find that its returns diminish quickly when the candidates are resampled from one decoder: they differ by noise rather than by plan, and for each of three resampling sources, going from four to eight candidates adds only 0.06-0.07 to the average number of completed tasks on CALVIN. We introduce PlanDiv, an action head that makes the candidates differ by plan: a lightweight planner proposes K latent plan hypotheses, a shared masked-diffusion executor decodes one action chunk per plan from a single backbone pass, and the policy executes the chunk that its own likelihood ranks highest. The plans are learned from demonstrations alone, without plan labels or rewards. With the backbone, data and training recipe held fixed, eight plan-conditioned candidates raise five-task chain success on CALVIN ABC$\rightarrow$D from 56.9% to 69.9%, while eight candidates from autoregressive, plan-free or same-plan resampling reach at most 64.9%. The same-plan baseline is PlanDiv's own checkpoint with the plan held fixed, so this gap comes from the plans, not from drawing more samples. On LIBERO-Long, four plans remove 40% of single-candidate failures, against at most 21% for matched resampling. On a real Franka arm the gain appears where a task admits more than one solution: PlanDiv is on par with a single-output OpenVLA-OFT+ baseline on a one-solution task and succeeds in 51 of 54 trials against 40 of 54 on two tasks with two solutions.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.20010v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.