PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2603.12717v3cs.RO

변화된 생각, 변화된 행동: 비전-언어-행동 정책을 위한 제어 표면으로서의 추론 연쇄

Altered Thoughts, Altered Actions: Reasoning Chain as Control Surface for a Vision-Language-Action Policy

비전-언어-행동(Vision-Language-Action, VLA) 정책은 카메라 이미지와 자연어 지시문을 로봇의 모터 동작에 매핑합니다. 이러한 정책 중 일부는 행동하기 전에 텍스트로 추론하도록 설계되어, 추론 연쇄(reasoning chain)를 생성하고 해당 연쇄를 조건으로 동작을 디코딩합니다. 이 설계를 도입한 연구들은 추론 연쇄를 사람이 읽고 편집하여 정책을 교정할 수 있는 텍스트 형태의 감독 인터페이스로 제시합니다. 그러나 편집된 추론 연쇄가 정책의 모터 동작에 어떤 영향을 미치는지, 즉 동작을 복구하는지 아니면 훼손하는지는 지금까지 부분적으로만 측정되었습니다. 본 연구에서는 정책이 받는 지시문과 정책이 생성하는 추론 연쇄에 적용되는 결정론적 개체 교체(entity swap)를 통해 복구와 훼손이라는 두 방향을 모두 측정합니다. 4개의 LIBERO 시뮬레이션 스위트 전반에 걸친 40개 태스크의 관찰 결과에 따르면, 추론 연쇄 훼손으로 인한 비용은 언어만으로 목표가 결정되는 영역에 집중됩니다. 이에 따라 우리는 추론 연쇄가 일반 텍스트로 노출되어 있는 DeepThinkVLA를 선택하여 LIBERO-Goal에서 반사실적 개입(counterfactual intervention)을 수행합니다. 정책은 훼손된 지시문을 수신하지만, 추론 연쇄는 해당 지시문이 온전할 때 생성되는 연쇄로 대체됩니다. 사전 등록된 확인 테스트에서 이 반사실적으로 올바른 추론 연쇄는 손실된 성공률의 47.8%p를 회복했습니다. 만약 연쇄가 카메라 이미지가 이미 결정한 내용을 단순히 재진술한 것에 불과했다면, 대체로 인해 아무것도 바뀌지 않았을 것입니다. 그러나 10개 태스크 모두가 예측된 방향으로 이동했습니다. 다만 성공률은 온전한 실행 대비 38.0%p 미치지 못했으며, 이는 우리가 5~15%p로 예상했던 격차보다 컸습니다. 따라서 추론 연쇄는 유효한 제어 표면(control surface)으로 작동합니다. 즉, 추론 연쇄에 작성된 텍스트가 로봇을 움직이며, 텍스트가 올바를 때는 행동을 복구하고 잘못되었을 때는 이를 훼손합니다. 이러한 제어 표면을 노출할지 여부는 배포 시의 트레이드오프이며, 이제 그 일부를 정량적으로 측정할 수 있습니다.