흐름 기반 비전-언어-행동 정책을 위한 결과 균형 PPO와 정책 유도 흐름 직선화
Outcome-Balanced PPO and Policy-Induced Flow Rectification for Flow-Based VLA Policies
한국어 초록
강화학습(RL)은 환경과 상호작용해 과제의 기대 누적 보상을 최적화함으로써 흐름 기반 비전-언어-행동(VLA) 정책을 사후 학습할 수 있게 한다. 다만 두 가지 문제가 있다. 정책을 갱신하면 확률적 전이에 쓰이는 점수 근사의 바탕인 속도장의 기하 구조가 바뀔 수 있다. 여러 과제에서 롤아웃이 희소하면 과제 및 어드밴티지 부호에 따라 학습 신호가 불균형해질 수 있다. 결과 균형 근위 정책 최적화(PPO)와 정책 유도 흐름 직선화를 결합한 강화학습 프레임워크를 소개한다. 결과 균형 PPO는 추정한 과제 성공률로 양의 어드밴티지에 가중치를 다시 부여한다. 양과 음의 어드밴티지의 크기를 조정하되 부호는 유지한다. 정책 유도 직선화는 현재 정책이 생성한 상미분방정식(ODE)의 양 끝점 쌍에 선형 브리지 흐름을 주기적으로 적합해, 이후 확률적 최적화에 사용할 표현을 갱신한다. 시뮬레이션 조작 벤치마크에서 프레임워크를 평가하고, Real2Sim2Real 과제에서는 구성 요소의 조합도 추가로 살펴봤다. 과제 성능, 최적화 과정의 동작, 흐름의 일관성을 분석했다. 시뮬레이션 벤치마크 전반에서 제안 프레임워크는 평가한 기준선보다 성공률이 높았다.
원문 초록
Reinforcement learning (RL) enables post-training of flow-based vision-language-action (VLA) policies by optimizing expected task return through environment interaction. However, this optimization raises two challenges: policy updates can alter the velocity-field geometry underlying the score approximation used for stochastic transitions, and sparse multi-task rollouts can yield uneven learning signals across tasks and advantage signs. We introduce an RL framework that combines Outcome-Balanced Proximal Policy Optimization (PPO) with policy-induced flow rectification. Outcome-Balanced PPO reweights positive advantages using task success-rate estimates and rescales positive and negative advantages while preserving their signs. Policy-induced rectification periodically fits a linear-bridge flow to ODE endpoint pairs generated by the current policy, refreshing the representation used in subsequent stochastic optimization. We evaluate the framework on simulated manipulation benchmarks and additionally study a component combination in a Real2Sim2Real task, examining task performance, optimization behavior, and flow consistency. The proposed framework improves success rates over the evaluated baselines across the simulated benchmarks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22878v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.