arXiv:2310.18247

Guided Data Augmentation for Offline Reinforcement Learning and Imitation Learning

Nicholas E. Corrado, Yuxiao Qu, John U. Balis, Adam Labiosa, Josiah P. Hanna

제출 2023-10-27

원문 초록

In offline reinforcement learning (RL), an RL agent learns to solve a task using only a fixed dataset of previously collected data. While offline RL has been successful in learning real-world robot control policies, it typically requires large amounts of expert-quality data to learn effective policies that generalize to out-of-distribution states. Unfortunately, such data is often difficult and expensive to acquire in real-world tasks. Several recent works have leveraged data augmentation (DA) to inexpensively generate additional data, but most DA works apply augmentations in a random fashion and ultimately produce highly suboptimal augmented experience. In this work, we propose Guided Data Augmentation (GuDA), a human-guided DA framework that generates expert-quality augmented data. The key insight behind GuDA is that while it may be difficult to demonstrate the sequence of actions required to produce expert data, a user can often easily characterize when an augmented trajectory segment represents progress toward task completion. Thus, a user can restrict the space of possible augmentations to automatically reject suboptimal augmented data. To extract a policy from GuDA, we use off-the-shelf offline reinforcement learning and behavior cloning algorithms. We evaluate GuDA on a physical robot soccer task as well as simulated D4RL navigation tasks, a simulated autonomous driving task, and a simulated soccer task. Empirically, GuDA enables learning given a small initial dataset of potentially suboptimal experience and outperforms a random DA strategy as well as a model-based DA strategy.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.38472v2cs.RO공통 태그 Autonomous Driving, Imitation Learning

Diffusion-2BC: 자율주행 오프라인 행동 복제를 위한 확산 및 회귀 하이브리드 학습

Diffusion-2BC: Hybrid Diffusion and Regression Training for Offline Behavior Cloning in Autonomous Driving

행동 복제(Behavior Cloning)는 자율주행 정책 학습을 위한 오프라인 경로를 제공하지만, 하나의 관측에 대해 여러 유효한 행동이 존재할 수 있는 시연 데이터의 경우 평균 제곱 오차(mean-squared-error) 회귀와는 잘 맞지 않습니다. 확산 정책(Diffusion policy)은 조건부 다봉(multimodal) 행동 분포를 표현할 수 있지만, 제한된 데이터로부터 시각적 특징과 제어를 학습할 때 폐루프(closed-loop) 성능이 불안정할 수 있습니다. 본 논문에서는 공유된 시각적 인코더 상에서 확산 노이즈 제거(denoising) 목표와 보조 결정론적 행동 복제 손실을 결합한 Diffusion-2BC를 제안합니다. 보조 브랜치는 학습 중에만 사용되며, 추론은 확산 기반으로 유지됩니다. 제안된 방법은 통제된 Claw 환경과 버드아이뷰(bird's-eye-view) CARLA 내비게이션(경로 조건부 주행, 여러 교차로를 통과하는 무경로 내비게이션, Town01에서 Town02로의 교차 맵 평가 포함)에서 평가됩니다. Claw 태스크에서 Diffusion-2BC는 확산 기반 행동 복제 기준선 대비 약 10%, 표준 결정론적 행동 복제 대비 85% 평균 마스크 거리 오차를 줄였습니다. 무경로 CARLA에서 Diffusion-2BC는 Town01과 Town02 모두에서 평가 프로토콜 하에 주행이 종료되기 전까지 두 기준선보다 훨씬 더 먼 거리를 주행했습니다. 추가적인 정성적 롤아웃을 통해 뚜렷한 경로 선택이 확인되었으며, 제안된 확산 기반 에이전트의 다봉 행동을 보여주었습니다. 이러한 결과는 보조 회귀 신호가 통제된 벤치마크에서 다봉 예측을 보존하면서도 확산 행동 복제의 폐루프 신뢰성을 향상시킬 수 있음을 나타냅니다.

arXiv:2610.02339v1cs.RO공통 태그 Data Augmentation, Imitation Learning

NEEDLEWORK: 검증된 로컬 스티칭을 통한 로봇 데이터의 오프라인 재작성

NEEDLEWORK: Offline Rewriting of Robot Data with Verified Local Stitches

로봇 시연(demonstration) 데이터는 개별 에피소드가 비효율적이거나 실패하더라도 유용한 행동을 포함할 수 있습니다. 궤적 스티칭(trajectory stitching)은 이러한 행동들을 조합하여 개선된 학습(training) 데이터로 만드는 방법을 제공하지만, 많은 기존 기법이 저차원 상태 표현에 의존하는 고차원 로봇 데이터에서는 유용한 연결점을 식별하고 실행 가능성을 검증하기 어렵습니다. 본 논문에서는 고차원 로봇 시연 데이터에서 기록된 관측값 사이에 검증된 짧은 행동 브리지(action bridge)를 추가함으로써 이러한 문제를 해결하는 오프라인 데이터셋(dataset) 증강 알고리즘인 NEEDLE을 소개합니다. 먼저 NEEDLE은 새로운 환경(environment) 상호작용이나 특권적인 객체 상태(privileged object state) 없이 RGB 이미지, 고유수용감각(proprioception), 에피소드 단위 결과만을 사용하여 준최적의 우회 경로를 우회하고, 행동 커버리지를 넓히며, 실패한 궤적으로 원본 데이터셋을 증강하는 연결점을 식별하고 생성합니다. 다음으로, 중간 이미지를 합성하거나 원본 시연을 버리지 않고도 승인된 브리지를 정책 학습에 통합하는 샘플링 기법을 제시하여, 정책이 원본 데이터셋의 커버리지를 유지하면서 대안적인 행동을 학습할 수 있도록 합니다. 실제 로봇 작업에서 NEEDLE은 각 작업의 가장 강력한 기준선(baseline) 대비 성공률을 평균 21% 포인트 향상시켰습니다. 비디오 및 보충 자료는 https://needle-work.github.io/ 에서 확인할 수 있습니다.

arXiv:2610.00601v1cs.RO공통 태그 Autonomous Driving, Imitation Learning

추론이 행동에 도움이 되는 순간: 비전-언어-행동 정책에서 사고의 연쇄 모니터링 및 조향

When Reasoning Helps Action: Monitoring and Steering Chain-of-Thought in Vision-Language-Action Policies

추론 기능이 활성화된 VLA(Vision-Language-Action) 정책은 행동을 설명하고 안내하는 것처럼 보이는 사고의 연쇄(CoT, Chain-of-Thought) 궤적을 드러내며, 이는 추론 모니터링 및 수정을 통한 런타임 안전성의 잠재적 인터페이스를 형성합니다. 본 연구에서는 이러한 인터페이스가 구체화된(embodied) 행동을 언제 개선할 수 있는지 평가하기 위한 두 가지 평가 축을 정의하고 구체화합니다. 하나는 생성 과정에서 신뢰할 수 없는 추론을 감지하고 개선할 수 있는지를 측정하는 수정 가능성(correctability)이며, 다른 하나는 추론 수정이 의도된 방향으로 행동상 의미 있는 변화를 만들어내는지를 측정하는 실행 가능성(actionability)입니다. 수정 가능성을 실현하기 위해, 부분적인 접두사로부터 최종 추론 정확도를 예측하고 이러한 추정치를 활용하여 동결된 VLA 정책의 추론 생성을 모니터링하고 선택적으로 조향하는 오프라인 학습 가치 모델인 TRUST(Token-level Reward for Utility-Steered Chain-of-Thought)를 도입합니다. 주행 VLA인 Alpamayo 1.5에서 TRUST는 88.9%의 정확도로 정확성을 모니터링하고 추론 정확도를 75.9%에서 90.0%로 향상시킵니다. AlpaSim의 기준선(baseline) 정의 고난도 서브셋에서 TRUST는 조향되지 않은 정책 대비 충돌률을 30.4%, 최대 궤적 오차를 11.5% 감소시켜 연산량을 맞춘 Best-of-4 기준선보다 우수한 성능을 보입니다. 조작 VLA인 DeepThinkVLA에서 TRUST는 파지 상태 주장의 정확도를 69.3%에서 90.2%로, 행동 선택 주장의 정확도를 68.8%에서 85.9%로 개선하지만, LIBERO-Plus에서의 폐루프(closed-loop) 태스크 성능은 대체로 변함없이 유지됩니다. 실증적 분석을 통해 Alpamayo 1.5에서는 의도와 일치하는 행동 효과가 나타나지만 DeepThinkVLA에서는 효과가 제한적임을 확인하여, 태스크 수준에서 나타난 서로 다른 결과를 해석하는 데 도움을 줍니다. 종합적으로 본 연구 결과는 추론 정확도의 향상이 구체화된 성능의 향상을 자동으로 의미하지는 않음을 보여주며, CoT를 런타임 안전 인터페이스로 활용할 때 수정 가능성과 실행 가능성을 함께 평가해야 할 필요성을 시사합니다.

arXiv:2609.27747v1cs.RO공통 태그 Autonomous Driving, Imitation Learning

언어는 줄이고 잠재 표현은 늘리다: 주행을 위한 어노테이션 효율적 VLA

Less Language, More Latents: Annotation-Efficient VLAs for Driving

비전-언어-행동 모델(VLA)은 사람이 조향할 수 있는 자율주행을 가능하게 할 것으로 기대되지만, 학습은 자연어 지시문과 짝지어진 프레임이 부족하다는 점에서 병목을 겪습니다. 카메라 스트림과 전문가 궤적은 대규모로 기록되는 반면, 언어 어노테이션(예: 교차로에서 좌회전)은 여전히 부족하고 확보하는 데 비용이 많이 듭니다. 이 문제를 해결하기 위해 우리는 풍부한 비라벨 관측-궤적 쌍을 언어 조건부 제어의 기반으로 변환하는 3단계 파이프라인인 Latent Action Driving Annotations(LADA)를 제안합니다. 첫째, 벡터 양자화(vector-quantised) 병목을 가진 잠재 행동 모델(latent action model)을 학습하여 상위 수준의 차량 의도를 담은 간결한 코드북을 만듭니다. 둘째, 언어 어노테이션이 있는 소규모 부분집합을 사용해 관측과 언어 지시문을 이 코드북으로 매핑하는 비전-언어 번역기를 학습합니다. 셋째, 라벨이 없는 전체 코퍼스에 대해 관측-잠재 행동 쌍으로 주행 VLA를 학습합니다. LADA는 언어 어노테이션의 5% 미만만 사용하고 보조적인 사고의 연쇄(chain-of-thought) 추론이나 시각 질의응답 스트림을 전혀 활용하지 않으면서도, 폐루프(closed-loop) Bench2Drive 벤치마크에서 Driving Score 87.98, Success Rate 70.46%를 달성하여 완전 지도학습 기반 베이스라인과 대등하거나 이를 능가합니다.

arXiv:2609.26299v2cs.CV공통 태그 Autonomous Driving, Imitation Learning

ForeDrive: 계획 관련 잠재 월드 모델을 활용한 예측 유도형 엔드투엔드 자율주행

ForeDrive: Foresight-Guided End-to-End Autonomous Driving with a Planning-Relevant Latent World Model

기존 잠재 월드 모델(latent world model)은 일반적으로 미래 예측 가능성에 맞춰 최적화되지만, 그 결과로 얻어지는 표현(representation)이 자율주행의 계획 수립에 반드시 유용한 것은 아닙니다. 예측값은 궤적 생성을 위한 직접적인 조건화 신호로 사용되기보다는 사전학습(pre-training)이나 보조적인 지도 신호로 활용되는 것이 일반적입니다. 본 논문에서는 계획 관련 잠재 표현을 학습하고 이를 확산 트랜스포머(Diffusion Transformer, DiT) 플래너와 비대칭적으로 결합하는 ForeDrive를 제안합니다. 이 플래너는 JEPA 스타일의 월드 모델로 학습된 다중 시계 잠재 미래 표현(multi-horizon latent future representation)을 입력받으며, 계획 수립 그래디언트는 공유 온라인 인코더를 업데이트하는 반면, 그래디언트 중단(stop-gradient) 라우팅을 통해 잠재 예측기(latent predictor)는 예측 손실만으로 학습됩니다. 예측된 미래는 시계(horizon)에 따라 신뢰도가 상이하고 BEV 궤적은 이미지 토큰과 정렬되지 않으므로, 게이트형 시각 융합(gated visual fusion), 미래 상태 주입(future-status injection), 궤적 적응형 바이어스(Trajectory-Adaptive Bias, TAB)를 사용하여 현재 관측값을 덮어쓰지 않고 미래 잠재 변수를 유도 신호로 주입합니다. 순수 모방 학습(imitation learning)으로 학습되고 추론 시 현재 전방 뷰 이미지만을 시각적 입력으로 사용함에도 불구하고, ForeDrive는 강화학습이나 외부 궤적 스코어러 없이도 NAVSIM v1에서 89.9 PDMS, NAVSIM v2에서 단일 단계(one-stage) 90.0 EPDMS를 달성합니다.

arXiv:2609.27734v1cs.RO공통 태그 Data Augmentation, Imitation Learning

InfiNoVA: 시점 불변 로봇 정책을 위한 무한 신규 시점 증강

InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies

비전-언어-행동(VLA) 정책은 학습 중 관측한 카메라 시점에 크게 의존하는 경우가 많아, 보지 못한 시점에서 배포할 때 성능이 크게 저하된다. 충분히 다양한 물리적 시점에서 시연을 수집하는 것은 비용이 많이 들며, 시점 공간에 대한 커버리지도 여전히 희소하게만 제공한다. 본 논문은 동기화된 다중 카메라 시연을 기하학적으로 일관된 학습용 시점의 밀집 분포로 변환하는 데이터 증강 프레임워크인 InfiNoVA를 제안한다. InfiNoVA는 각 조작 궤적을 시간에 따라 변하는 3D Gaussian 표현으로 재구성하고, 원래 상태-행동 대응을 유지한 채 샘플링된 카메라 자세에서 신규 관측을 렌더링한다. 이러한 명시적 장면 표현은 생성적 신규 시점 합성에서 관찰되는 과업 핵심적 환각(hallucination)을 줄이면서 프레임 수준 충실도와 시간적 일관성을 향상시킨다. 네 가지 실세계 조작 과제에서 InfiNoVA로 학습한 정책은 VISTA 기반 증강과 증강하지 않은 정책 모두에 비해 보지 못한 무작위 시점에서 평균 성공률이 5.4배 높다. InfiNoVA는 다섯 개의 물리적 카메라 시점 모두에서 직접 학습한 경우보다도 1.7배 높은 성공률을 추가로 달성한다. 이러한 결과는 밀집하고 기하학적으로 그라운딩(grounded)된 시점 증강이 기본 정책 아키텍처를 수정하지 않고도 카메라에 강건한 로봇 정책을 향한 실용적인 경로를 제공함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.