D-VLA: 시각-언어-행동 모델을 위한 고동시성 분산 비동기 강화학습 프레임워크
D-VLA: A High-Concurrency Distributed Asynchronous Reinforcement Learning Framework for Vision-Language-Action Models
한국어 초록
체화 AI의 급속한 발전으로 시각-언어-행동(VLA) 모델은 멀티모달 인식과 과제 수행에서 뛰어난 성능을 보이고 있다. 그러나 이러한 대규모 모델에 대규모 분산 환경에서 강화학습(RL)을 적용하는 데는 심각한 시스템적 병목이 존재하며, 이는 주로 고충실도 물리 시뮬레이션과 딥러닝의 집약적인 VRAM 및 대역폭 요구 사이의 자원 충돌에서 비롯된다. 이러한 충돌로 인해 전체 처리량이 실행 단계의 비효율에 의해 제약되는 경우가 많다. 이를 해결하기 위해 본 연구는 대규모 체화 파운데이션 모델을 위한 고동시성·저지연 분산 RL 프레임워크 D-VLA를 제안한다. D-VLA는 고빈도 학습 데이터와 저빈도 가중치 제어를 물리적으로 분리하여 시뮬레이션과 최적화 간의 간섭을 제거하는 "평면 분리(Plane Decoupling)"를 도입한다. 또한 샘플링, 추론, 그래디언트 계산, 매개변수 배포가 완전히 병렬로 중첩되도록 하는 4스레드 비동기 "스윔레인(Swimlane)" 파이프라인을 설계한다. 아울러 이중 풀 VRAM 관리 모델과 토폴로지 인식 복제는 메모리 단편화를 해소하고 통신 효율을 최적화한다. LIBERO 등의 벤치마크 실험에서 D-VLA는 10억 매개변수 규모 VLA 모델의 처리량과 샘플링 효율 면에서 주류 RL 프레임워크를 크게 능가한다. 1조 매개변수 규모 확장성 시험에서도 본 프레임워크는 뛰어난 안정성과 선형적 속도 향상을 유지하여, 고성능 범용 체화 에이전트를 위한 견고한 시스템을 제공한다.
원문 초록
The rapid evolution of Embodied AI has enabled Vision-Language-Action (VLA) models to excel in multimodal perception and task execution. However, applying Reinforcement Learning (RL) to these massive models in large-scale distributed environments faces severe systemic bottlenecks, primarily due to the resource conflict between high-fidelity physical simulation and the intensive VRAM/bandwidth demands of deep learning. This conflict often leaves overall throughput constrained by execution-phase inefficiencies. To address these challenges, we propose D-VLA, a high-concurrency, low-latency distributed RL framework for large-scale embodied foundation models. D-VLA introduces "Plane Decoupling," physically isolating high-frequency training data from low-frequency weight control to eliminate interference between simulation and optimization. We further design a four-thread asynchronous "Swimlane" pipeline, enabling full parallel overlap of sampling, inference, gradient computation, and parameter distribution. Additionally, a dual-pool VRAM management model and topology-aware replication resolve memory fragmentation and optimize communication efficiency. Experiments on benchmarks like LIBERO show that D-VLA significantly outperforms mainstream RL frameworks in throughput and sampling efficiency for billion-parameter VLA models. In trillion-parameter scalability tests, our framework maintains exceptional stability and linear speedup, providing a robust system for high-performance general-purpose embodied agents.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.13276v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.