의미는 객체 선택에는 도달하지만 완수에는 도달하지 못한다: VLA는 어디에서 랜드마크 동의어에 취약한가?
Meaning Reaches Object Choice but Not Completion: Where Is a VLA Vulnerable to Landmark Synonyms?
한국어 초록
VLA 정책은 문구 바꿔 쓰기에 취약하다. 성공률만으로는 정책이 객체를 선택하지 못하는 것인지, 과제를 완수하지 못하는 것인지, 그리고 정책의 어느 지점에 개입해야 하는지를 알 수 없다. 본 연구는 공개된 GR00T N1.7을 대상으로, 두 그릇 중 어느 것을 집을지 알려 주는 랜드마크 단어만 다른 두 LIBERO-Spatial 과제를 분석한다. 학습 지시문에 없던 동의어는 임의로 만든 단어와 달리 정책을 해당 단어가 가리키는 그릇으로 향하게 하지만, 한 과제의 폐루프 에피소드 중 67.6%만 완수되며 원래 단어의 100%에 못 미친다. 비전-언어 모델과 행동 생성기 사이의 커넥터 이전 단계에서 랜드마크 토큰의 벡터만 다른 랜드마크의 벡터로 교체(붙여넣기)하면 거의 모든 에피소드가 다른 그릇으로 향한다. 커넥터 이후에는 랜드마크, 나머지 지시문, 이미지 토큰 중 하나만 붙여넣어서는 선택이 거의 바뀌지 않지만, 둘 이상을 붙여넣으면 바뀐다. 커넥터 이후 행동 생성기로부터 랜드마크 토큰을 가리면, 성능이 미흡한 동의어에 대해 여전히 완수율이 낮아진다. 다양화한 랜드마크 단어로 미세 조정하면 미세 조정에 없던 동의어에 대해서도 해당 과제의 완수율이 회복되지만, 원래 지시문으로 미세 조정하면 회복되지 않는다. 다양화한 단어로 커넥터만 학습해도 충분하며, 이를 전부 미세 조정한 정책의 커넥터를 원래 지시문으로 미세 조정한 정책에 복사해도 마찬가지이다. 시작 프레임에 대한 개루프 점수는 커넥터 밖의 가중치도 회복의 일부를 담당한다는 점을 놓친다. 현재로서는 이 증거에 비추어, 문구 바꿔 쓰기에 대한 강건성은 행동을 실제로 실행하는 폐루프에서 커넥터 양쪽에 개입하고 선택과 완수를 따로 채점하여 판단해야 한다.
원문 초록
VLA policies are fragile to rewording. Success rates alone cannot say whether a policy fails to choose the object or to complete the task, nor where in the policy to intervene. We study the released GR00T N1.7 on two LIBERO-Spatial tasks differing only in the landmark word telling which of two bowls to take. Synonyms absent from the training instructions send the policy to the bowl they name, unlike made-up words, yet complete 67.6% of one task's closed-loop episodes, against the original word's 100%. Before the connector between the vision-language model and the action generator, replacing only the landmark tokens' vectors with the other landmark's (pasting) sends nearly every episode to the other bowl. After the connector, pasting at the landmark, the remaining instruction, or the image tokens alone rarely moves the choice, but any two do. Hiding the landmark tokens from the action generator after the connector still lowers completion for the synonyms that fall short. Finetuning on diversified landmark words repairs that one task's completion for synonyms absent from finetuning; finetuning on the original instructions does not. Training only the connector on the diversified words suffices, as does copying the connector of a policy fully finetuned on them into one finetuned on the original instructions. An open-loop score on starting frames misses that weights outside the connector also carry part of the repair. For now, on this evidence, robustness to rewording should be judged in closed loop, with actions executed, intervening on both sides of the connector, scoring choice and completion separately.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24076v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.