한국어 초록
비전-언어-행동(VLA) 모델을 일반 로봇을 위해 학습하는 데는 대규모의 실제 로봇 데이터가 필요하며, 이는 수집하는 데 비용이 많이 들고 시간이 소요됩니다. 물리적 데이터 수집의 비효율성은 현재 VLA 시스템의 확장성과 일반화 능력을 심각하게 제한합니다. 이러한 문제를 해결하기 위해, 우리는 세계 모델 생성 데이터(예: 비디오 생성, 실제-실제 전이, 인간 전이, 시점 전이, 시뮬레이션-실제 전이 데이터)에 의해 강화된 새로운 VLA 파운데이션 모델인 GigaBrain-0을 소개합니다. 세계 모델을 활용하여 다양한 데이터를 대규모로 생성함으로써, GigaBrain-0은 실제 로봇 데이터에 대한 의존성을 크게 줄이면서도 교차 작업 일반화를 개선합니다. 우리의 접근 방식은 RGBD 입력 모델링과 구체화된 사고의 연쇄(Chain-of-Thought, CoT) 감독을 통해 정책의 강건성을 더욱 향상시켜, 모델이 작업 실행 중 공간 기하학, 객체 상태 및 장기 의존성에 대해 추론할 수 있도록 합니다. 이는 정교하고 장기적인 모바일 조작 작업에서 실제 성능의 상당한 향상으로 이어집니다. 광범위한 실험을 통해 GigaBrain-0이 외관의 변화(예: 질감, 색상), 객체 배치 및 카메라 시점의 변형에 대해 우수한 일반화를 달성함을 입증합니다. 또한, 우리는 NVIDIA Jetson AGX Orin과 같은 장치에서 효율적으로 실행되도록 설계된 최적화된 경량 변형인 GigaBrain-0-Small을 제시합니다.
요약
GigaBrain-0은 비전-언어-행동(Vision-Language-Action, VLA) 모델의 학습을 혁신적으로 개선하기 위해 세계 모델 기반의 데이터 생성 방식을 도입한 연구이다. 기존의 VLA 모델은 실제 로봇 데이터를 수집하는 데 있어 높은 비용과 시간 소모로 인해 확장성과 일반화 능력이 제한되는 문제를 겪고 있다. 이러한 문제를 해결하기 위해 GigaBrain-0은 다양한 데이터 생성 기술을 활용하여 실제 로봇 데이터에 대한 의존성을 줄이고, 여러 작업 간의 일반화를 향상시킨다. GigaBrain-0의 핵심 방법론은 세계 모델(GigaWorld)을 통해 생성된 데이터를 활용하는 것이다. 이 모델은 실제 환경에서 수집된 비디오를 기반으로 하여 다양한 시각적 맥락에서 합성적으로 변경된 데이터를 생성한다. 이를 통해 실제 로봇이 수행하는 작업의 의미와 공간 역학을 유지하면서도, 다양한 외관 변형과 카메라 시점에 대한 일반화를 달성할 수 있다. 특히, RGBD(적외선 깊이) 입력 모델링과 체화된 사고의 연쇄(Chain-of-Thought, CoT) 감독을 통해 정책의 견고성을 높이며, 공간 기하학, 객체 상태, 장기 의존성에 대한 추론 능력을 강화한다. GigaBrain-0은 또한 다양한 데이터 생성 기법을 통해 실제 로봇 데이터의 수집 한계를 극복한다. 예를 들어, Real2Real 전송을 통해 실제 비디오를 새로운 시각적 맥락에서 재구성하고, View 전송을 통해 다양한 관찰 시점에서의 일반화를 지원한다. Sim2Real 전송은 시뮬레이션 자산을 활용하여 다양한 체화된 상호작용 시퀀스를 합성하며, 인간 비디오 전송은 로봇 학습에 필요한 다양한 작업과 환경을 제공한다. 이러한 혁신적인 접근 방식은 GigaBrain-0이 실제 세계에서의 성능을 크게 향상시키는 데 기여하며, 다양한 환경에서의 작업 수행 능력을 개선한다. GigaBrain-0-Small이라는 경량 버전도 소개되어, NVIDIA Jetson AGX Orin과 같은 장치에서 효율적으로 실행될 수 있도록 최적화되었다. 이 연구는 VLA 모델의 학습 효율성과 일반화 능력을 크게 향상시킬 수 있는 가능성을 보여주며, 로봇 공학 분야에서의 데이터 수집 및 활용 방식을 재정의하는 데 중요한 기여를 한다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.