arXiv:2510.00406 cs.RO

VLA-RFT: Vision-Language-Action Reinforcement Fine-tuning with Verified Rewards in World Simulators

제출 2025-10-01

한국어 초록

비전-언어-행동(Vision-Language-Action, VLA) 모델은 구체적인 의사결정을 가능하게 하지만, 모방 학습에 크게 의존하여 오류가 누적되고 분포 변화에 대한 강건성이 떨어지는 문제를 겪습니다. 강화학습(Reinforcement Learning, RL)은 이러한 문제를 완화할 수 있지만, 일반적으로 비용이 많이 드는 실제 상호작용을 요구하거나 시뮬레이션과 실제 간의 격차로 어려움을 겪습니다. 우리는 데이터 기반의 세계 모델을 제어 가능한 시뮬레이터로 활용하는 강화 파인튜닝 프레임워크인 VLA-RFT를 소개합니다. 실제 상호작용 데이터로 훈련된 이 시뮬레이터는 행동에 조건화된 미래의 시각적 관찰을 예측하여 목표 달성 기준에서 파생된 밀집한 궤적 수준의 보상으로 정책 롤아웃을 가능하게 합니다. 이러한 설계는 효율적이고 행동 정렬된 학습 신호를 제공하여 샘플 요구 사항을 대폭 줄입니다. 400회 미만의 파인튜닝 단계로 VLA-RFT는 강력한 감독 기반 기준을 초월하고 시뮬레이터 기반 RL보다 더 큰 효율성을 달성합니다. 또한, 이는 변동 조건에서도 강력한 강건성을 보이며 안정적인 작업 수행을 유지합니다. 우리의 결과는 세계 모델 기반 RFT가 VLA 모델의 일반화 및 강건성을 향상시키기 위한 실용적인 사후 학습 패러다임으로 자리 잡을 수 있음을 입증합니다. 더 자세한 내용은 https://vla-rft.github.io/를 참조하시기 바랍니다.

요약

Vision-Language-Action (VLA) 모델은 구체적인 의사결정을 가능하게 하지만, 모방 학습에 의존함으로써 오류가 누적되고 분포 변화에 대한 강건성이 떨어지는 문제를 안고 있다. 이러한 문제를 해결하기 위해 본 연구에서는 VLA-RFT라는 새로운 강화 학습 파인튜닝 프레임워크를 제안한다. 이 프레임워크는 데이터 기반의 세계 모델을 활용하여 제어 가능한 시뮬레이터 역할을 수행하며, 실제 상호작용 데이터를 통해 훈련된다. 세계 모델은 행동에 조건화된 미래 시각적 관찰을 예측하고, 이를 통해 목표 달성 참조에서 파생된 밀집 경로 수준의 보상을 제공한다. VLA-RFT는 400회 미만의 파인튜닝 단계로도 강력한 감독 기준을 초월하며, 시뮬레이터 기반 강화 학습보다 더 높은 효율성을 보여준다. 이는 샘플 요구량을 크게 줄이고, 변동 조건에서도 강한 강건성을 유지하여 안정적인 작업 실행을 가능하게 한다. 본 연구는 세계 모델 기반의 강화 학습 파인튜닝이 VLA 모델의 일반화 및 강건성을 향상시키는 실용적인 사후 학습 패러다임임을 입증하였다. 연구의 첫 번째 단계에서는 세계 모델과 VLA 정책을 오프라인 데이터셋에서 사전 훈련하여 안정적인 초기화를 제공한다. 세계 모델은 밀집 검증된 보상을 효율적으로 얻기 위해 대화형 비디오 예측 모델로 훈련되며, VLA는 전문가 시연 데이터셋을 통해 안정적인 행동 생성을 보장한다. 두 번째 단계에서는 SDE(확률적 미분 방정식) 기반의 정책 수식을 채택하고, GRPO(Gradient-Weighted Policy Optimization)로 최적화하여 신뢰할 수 있는 그래디언트 추정을 제공한다. VLA-RFT의 주요 기여는 강화 학습의 불안정성을 줄이고, 검증된 보상을 통해 훈련의 안정성을 높이는 것이다. 이러한 접근은 VLA 모델의 성능을 크게 향상시키며, 다양한 환경에서의 강건성을 보장한다. 본 연구는 VLA-RFT가 실제 응용 분야에서의 효과적인 의사결정 시스템 개발에 기여할 수 있음을 제시한다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.