한국어 초록
많은 비전-언어-행동(VLA) 모델은 다음 프레임 예측을 통해 학습된 내부 세계 모델에 의존합니다. 그러나 이 접근 방식은 정적 외관과 동적 움직임을 얽히게 하여 물리적 추론에 어려움을 겪으며, 종종 그럴듯하지 않은 시각적 예측과 비효율적인 정책 학습을 초래합니다. 이러한 한계를 해결하기 위해 우리는 시각적 사고의 연쇄(Visual Chain of Thought, Visual CoT)를 도입합니다: 이는 모델이 장면이 어떻게 발전하는지를 추론하도록 유도하는 사전 학습 프레임워크입니다. 우리는 이 원리를 FlowVLA에 구현하여, 동적 움직임을 인코딩하는 중간 광학 흐름 표현($f_t$)을 생성한 후에만 미래 프레임($v_{t+1}$)을 예측합니다. 이 "$v_t \rightarrow f_t \rightarrow v_{t+1}$" 사고 과정은 단일 자기 회귀 트랜스포머(Transformer) 내에서 구현되어 모델이 분리된 동적 특성을 학습하도록 안내합니다. 그 결과, FlowVLA는 일관된 시각적 예측을 생성하고 보다 효율적인 정책 학습을 촉진합니다. 도전적인 로봇 조작 벤치마크에서의 실험은 상태-of-the-art 성능을 보여주며, 샘플 효율성이 크게 향상된 것을 입증하여 세계 모델링을 위한 보다 원칙적인 기초를 제시합니다. 프로젝트 페이지: https://irpn-lab.github.io/FlowVLA/
요약
Vision-Language-Action (VLA) 모델은 다음 프레임 예측을 통해 훈련된 내부 세계 모델에 의존하지만, 이 방법은 정적인 외관과 동적인 움직임이 얽혀 있어 물리적 추론에 어려움을 겪습니다. 이를 해결하기 위해 Visual Chain of Thought (Visual CoT)라는 사전 훈련 프레임워크를 도입하여 장면의 진화를 추론한 후 예측하도록 유도합니다. FlowVLA는 중간의 광학 흐름 표현을 생성한 후 미래 프레임을 예측하는 방식으로, 이 과정은 단일 자기회귀 Transformer 내에서 구현되어 동적인 요소를 분리하여 학습합니다. 실험 결과, FlowVLA는 일관된 시각적 예측을 생성하고 정책 학습의 효율성을 크게 향상시켜 세계 모델링의 보다 원칙적인 기초를 제시합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.