A Survey on Vision-Language-Action Models: An Action Tokenization Perspective
한국어 초록
컴퓨터 비전과 언어 기반의 파운데이션 모델들이 멀티모달 이해, 추론 및 생성 분야에서 이룬 놀라운 발전은 이러한 지능을 물리적 세계로 확장하려는 노력을 촉진하며, 비전-언어-행동(VLA) 모델의 급성장을 이끌고 있습니다. 겉보기에는 다양한 접근법이 존재하지만, 현재의 VLA 모델들은 단일 프레임워크로 통합될 수 있음을 확인하였습니다. 즉, 비전과 언어 입력이 일련의 VLA 모듈을 통해 처리되며, 점진적으로 더 구체적이고 실행 가능한 정보를 인코딩하는 \textit{행동 토큰(action tokens)}의 연쇄를 생성하여 궁극적으로 실행 가능한 행동을 도출합니다. 또한, VLA 모델을 구분하는 주요 설계 요소는 행동 토큰의 구성 방식에 있으며, 이는 언어 설명, 코드, 어포던스(affordance), 궤적(trajectory), 목표 상태(goal state), 잠재 표현(latent representation), 원시 행동(raw action), 추론(reasoning)으로 분류할 수 있음을 규명하였습니다. 그러나 행동 토큰에 대한 포괄적인 이해가 부족하여 효과적인 VLA 개발을 저해하고 향후 연구 방향을 모호하게 만드는 한계가 존재합니다. 이에 본 서베이 논문은 행동 토큰화(action tokenization)의 관점에서 기존 VLA 연구를 분류하고 해석하며, 각 토큰 유형의 강점과 한계를 도출하고 개선이 필요한 영역을 식별하는 것을 목표로 합니다. 체계적인 검토와 분석을 통해 VLA 모델의 전반적인 진화에 대한 종합적인 전망을 제시하고, 아직 충분히 탐구되지 않은 유망한 방향을 강조하며, 향후 연구를 위한 지침을 제공함으로써 이 분야가 범용 지능에 한 걸음 더 다가가기를 기대합니다.
요약
비전-언어-행동(Vision-Language-Action, VLA) 모델은 시각과 언어 입력을 처리하여 점진적으로 실행 가능한 행동 정보를 담은 액션 토큰(action tokens)을 생성하는 단일 프레임워크로 통합할 수 있습니다. VLA 모델 간 주요 차별점은 액션 토큰의 형성 방식에 있으며, 이는 언어 설명, 코드, 어포던스(affordance), 궤적, 목표 상태, 잠재 표현(latent representation), 원시 행동(raw action), 추론(reasoning) 등으로 분류됩니다. 그러나 액션 토큰에 대한 체계적인 이해가 부족하여 VLA 모델 개발과 향후 연구 방향 설정에 어려움이 존재합니다. 본 서베이는 액션 토큰 관점에서 기존 연구를 분류·해석하고 각 유형의 장단점을 분석하여, VLA 모델의 발전 방향과 잠재적 연구 과제를 제시합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.