arXiv:2402.02439

DiffStitch: Boosting Offline Reinforcement Learning with Diffusion-based Trajectory Stitching

Guanghe Li, Yixiang Shan, Zhengbang Zhu, Ting Long, Weinan Zhang

제출 2024-02-04

원문 초록

In offline reinforcement learning (RL), the performance of the learned policy highly depends on the quality of offline datasets. However, in many cases, the offline dataset contains very limited optimal trajectories, which poses a challenge for offline RL algorithms as agents must acquire the ability to transit to high-reward regions. To address this issue, we introduce Diffusion-based Trajectory Stitching (DiffStitch), a novel diffusion-based data augmentation pipeline that systematically generates stitching transitions between trajectories. DiffStitch effectively connects low-reward trajectories with high-reward trajectories, forming globally optimal trajectories to address the challenges faced by offline RL algorithms. Empirical experiments conducted on D4RL datasets demonstrate the effectiveness of DiffStitch across RL methodologies. Notably, DiffStitch demonstrates substantial enhancements in the performance of one-step methods (IQL), imitation learning methods (TD3+BC), and trajectory optimization methods (DT).

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10782v1cs.CV공통 태그 Data Augmentation, Reinforcement Learning (RL)

VICO: 비전-언어 모델 추론을 위해 함께 진화하는 시각적 환경

VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning

검증 가능한 보상을 활용한 강화학습(RLVR)은 비전-언어 모델(VLM)의 사후 학습을 위한 표준적인 방법론이 되었으나, 일반적으로 정적인 학습 환경을 가정합니다. 액터(actor)의 성능이 향상됨에 따라 고정된 태스크는 점차 학습 영역(learning frontier)을 벗어나게 됩니다. 즉, 상당수는 사소해지고 다른 태스크는 여전히 해결 불가능한 상태로 남아 학습 신호가 소실됩니다. 본 논문에서는 VLM 사후 학습이 액터 자체뿐만 아니라 액터와 함께 시각적 환경도 진화시켜야 한다고 주장합니다. 이를 위해 액터와 리라이터 형태의 환경(EnvRewriter)을 공동 학습하는 공진화(co-evolutionary) 프레임워크인 VICO를 제안합니다. EnvRewriter는 씬 그래프(scene graph), 차트 테이블, 보호 영역 마스크와 같이 검증 가능한 이미지 측 구조를 편집하고 이를 다시 렌더링하여 정답 레이블이 유효한 학습 샘플을 생성하며, 통과율 기반 보상을 통해 샘플의 난이도를 액터의 현재 능력에 맞게 보정합니다. 이러한 루프는 추가적인 사람의 주석 작업 없이 태스크 난이도와 액터의 역량을 지속적으로 재조정합니다. 수학적 추론 및 시각적 그라운딩(visually grounded) 이해를 포괄하는 9개 멀티모달 벤치마크 전반에서, VICO-8B는 도메인 외(out-of-domain) 태스크에서 기본 모델 대비 최대 +5.0% 향상되었으며, 가장 강력한 자기 진화(self-evolution) 및 텍스트 편집 공진화 베이스라인을 각각 +4.3%, +8.4% 능가하였고, 16~160배 적은 레이블 샘플을 사용하면서도 차트 특화 RLVR 방식과 대등한 성능을 유지했습니다. VICO는 사람이 레이블링한 지도 학습에서 이미지 편집 공진화로 전환함으로써, 시각적 추론을 위한 정적 말뭉치 기반 RLVR을 넘어설 수 있는 확장 가능한 경로를 제공합니다.

arXiv:2610.02339v1cs.RO공통 태그 Data Augmentation, Imitation Learning

NEEDLEWORK: 검증된 로컬 스티칭을 통한 로봇 데이터의 오프라인 재작성

NEEDLEWORK: Offline Rewriting of Robot Data with Verified Local Stitches

로봇 시연(demonstration) 데이터는 개별 에피소드가 비효율적이거나 실패하더라도 유용한 행동을 포함할 수 있습니다. 궤적 스티칭(trajectory stitching)은 이러한 행동들을 조합하여 개선된 학습(training) 데이터로 만드는 방법을 제공하지만, 많은 기존 기법이 저차원 상태 표현에 의존하는 고차원 로봇 데이터에서는 유용한 연결점을 식별하고 실행 가능성을 검증하기 어렵습니다. 본 논문에서는 고차원 로봇 시연 데이터에서 기록된 관측값 사이에 검증된 짧은 행동 브리지(action bridge)를 추가함으로써 이러한 문제를 해결하는 오프라인 데이터셋(dataset) 증강 알고리즘인 NEEDLE을 소개합니다. 먼저 NEEDLE은 새로운 환경(environment) 상호작용이나 특권적인 객체 상태(privileged object state) 없이 RGB 이미지, 고유수용감각(proprioception), 에피소드 단위 결과만을 사용하여 준최적의 우회 경로를 우회하고, 행동 커버리지를 넓히며, 실패한 궤적으로 원본 데이터셋을 증강하는 연결점을 식별하고 생성합니다. 다음으로, 중간 이미지를 합성하거나 원본 시연을 버리지 않고도 승인된 브리지를 정책 학습에 통합하는 샘플링 기법을 제시하여, 정책이 원본 데이터셋의 커버리지를 유지하면서 대안적인 행동을 학습할 수 있도록 합니다. 실제 로봇 작업에서 NEEDLE은 각 작업의 가장 강력한 기준선(baseline) 대비 성공률을 평균 21% 포인트 향상시켰습니다. 비디오 및 보충 자료는 https://needle-work.github.io/ 에서 확인할 수 있습니다.

arXiv:2609.27734v1cs.RO공통 태그 Data Augmentation, Imitation Learning

InfiNoVA: 시점 불변 로봇 정책을 위한 무한 신규 시점 증강

InfiNoVA: Infinite Novel View Augmentation for Viewpoint Invariant Robot Policies

비전-언어-행동(VLA) 정책은 학습 중 관측한 카메라 시점에 크게 의존하는 경우가 많아, 보지 못한 시점에서 배포할 때 성능이 크게 저하된다. 충분히 다양한 물리적 시점에서 시연을 수집하는 것은 비용이 많이 들며, 시점 공간에 대한 커버리지도 여전히 희소하게만 제공한다. 본 논문은 동기화된 다중 카메라 시연을 기하학적으로 일관된 학습용 시점의 밀집 분포로 변환하는 데이터 증강 프레임워크인 InfiNoVA를 제안한다. InfiNoVA는 각 조작 궤적을 시간에 따라 변하는 3D Gaussian 표현으로 재구성하고, 원래 상태-행동 대응을 유지한 채 샘플링된 카메라 자세에서 신규 관측을 렌더링한다. 이러한 명시적 장면 표현은 생성적 신규 시점 합성에서 관찰되는 과업 핵심적 환각(hallucination)을 줄이면서 프레임 수준 충실도와 시간적 일관성을 향상시킨다. 네 가지 실세계 조작 과제에서 InfiNoVA로 학습한 정책은 VISTA 기반 증강과 증강하지 않은 정책 모두에 비해 보지 못한 무작위 시점에서 평균 성공률이 5.4배 높다. InfiNoVA는 다섯 개의 물리적 카메라 시점 모두에서 직접 학습한 경우보다도 1.7배 높은 성공률을 추가로 달성한다. 이러한 결과는 밀집하고 기하학적으로 그라운딩(grounded)된 시점 증강이 기본 정책 아키텍처를 수정하지 않고도 카메라에 강건한 로봇 정책을 향한 실용적인 경로를 제공함을 보여준다.

arXiv:2609.23565v1cs.CV공통 태그 Data Augmentation, Imitation Learning

MaskVLA: Vision-Language-Action 모델의 궤적 과적합에 대응하는 시각적 마스킹

MaskVLA: Visual Masking Against Trajectory Overfitting of Vision-Language-Action Model

Vision-Language-Action(VLA) 모델은 시각-언어 이해와 실행 가능한 로봇 행동을 통합하여 로봇 제어를 위한 종단간(end-to-end) 학습을 가능하게 한다. 그러나 우리의 실증 분석에 따르면, 기존 모델들은 제한된 데이터셋으로 파인튜닝(fine-tuning)될 때 심각한 궤적 과적합(trajectory overfitting)을 보인다. 모델이 손목 카메라 정보를 효과적으로 활용하도록 유도하기 위해, 우리는 마스킹 기반 파인튜닝 전략인 MaskVLA를 제안한다. 메인 카메라의 시각 정보 중 일부를 무작위로 마스킹함으로써, 모델은 보다 세밀하고 과제와 관련성이 높으며 효과적인 시각적 특징을 자율적으로 학습하도록 유도된다. 이 과정은 강건한 정책(policy)의 출현으로 이어지며, 이를 통해 복잡한 조작(manipulation) 과제를 처리하는 모델의 능력을 향상시키고 일반화 성능을 개선한다. 우리의 방법은 RoboTwin 2.0에서 종합적으로 평가되었으며, $\pi_0$ 및 OpenVLA-OFT 대비 각각 평균 23.2%, 16.8%의 성공률 향상을 달성했다. 또한 실제 ALOHA 로봇을 이용한 실험에서도 우리 접근법의 효과가 입증되었다.

arXiv:2607.19880v2cs.RO공통 태그 Data Augmentation, Imitation Learning

EA-Nav: 체화 인식 기반 안전한 시각 내비게이션 정책 학습

EA-Nav: Learning Safe Visual Navigation Policies with Embodiment Awareness

교차 체화(cross-embodiment) 내비게이션은 체화 지능(embodied intelligence)의 핵심 과제이다. 체화의 차이로 인해 동일한 시각 관측이 서로 다른 에이전트(agent)에게는 서로 다른 행동을 의미할 수 있으며, 시각에만 의존할 경우 예측이 모호해진다. 기존 연구는 주로 강화학습에 의존하며, 이는 대규모 상호작용과 세심한 보상 설계를 요구하여 확장 가능한 사전학습(pre-training)과 실세계 적응을 지원하기 어렵게 만든다. 반면 모방 학습(imitation learning) 기반 접근법은 여전히 제한적이다. 이러한 과제를 해결하기 위해, 우리는 모듈형 다단계 설계를 갖춘 모방 학습 기반의 체화 인식 내비게이션 프레임워크를 제안한다. 사전학습 단계에서, 우리는 인터넷 동영상으로부터 교차 체화 내비게이션 데이터셋을 구성하고, 동일한 관측 하에서 행동 모호성을 줄이기 위해 체화 기하학(embodiment geometry)을 조건부 토큰(token)으로 도입한다. 미세조정 단계에서, 우리는 분리형(decoupled) 아키텍처 기반의 멀티모달 정보 주입 메커니즘을 설계한다. 구체적으로, 고위험 샘플을 생성하는 궤적 증강(trajectory augmentation) 전략을 설계하고, 이를 공간 지각(spatial perception)과 위험 인식(risk-aware) 보정(correction) 학습에 각각 사용하여, 안전한 내비게이션을 위해 체화 기하학을 명시적으로 통합한다. 실험 결과, 제안 방법은 서로 다른 체화 설정에서 내비게이션 성능을 효과적으로 향상시키며, 체화 내비게이션에 체화 기하학을 통합하는 것의 효과를 보여준다.

arXiv:2607.14200v1cs.LG공통 태그 Data Augmentation, Imitation Learning

스트리밍 비디오 게임에서 강건하고 효율적인 모방 학습을 위한 증강

Augmentations for Robust and Efficient Imitation Learning in Streamed Video Games

모방 학습은 인간 시연으로부터 시각적 관측을 행동에 매핑하는 정책을 학습함으로써, 복잡한 3D 환경에서 게임 플레이 에이전트를 확장할 수 있는 매력적인 방법이다. 그러나 이러한 시연은 수집 비용이 높고, 현대 게임 플레이는 종종 스트리밍을 통해 이루어지는데, 네트워크 지연과 압축이 시공간적으로 상관된 시각적 아티팩트를 유발하여 테스트 시점에 공분산 이동(covariance shift)을 일으킬 수 있다. 이러한 과제를 해결하기 위해, 저대역폭 네트워크 연결 하의 스트리밍 중 흔히 발생하는 네 가지 유형의 아티팩트—픽셀화된 블록 및 스크럽, 전역 블러, 고스팅—을 모방하는 스트리밍 증강을 제안한다. 우리는 학습된 잠재 공간에서 미래 상태 조건화와 역동역학 정책을 결합하는 예측적 역동역학 모델(PIDM) 위에 접근법을 구현하고, 현대 3D 비디오 게임의 세 가지 과제에서 증강의 영향을 평가한다. 안정적인 스트리밍 조건에서, 시공간 증강으로 학습된 에이전트는 동일한 데이터 예산 하에서 증강 없이 학습된 에이전트 대비 평가 성능이 최대 41% 더 높다. 네트워크 지연이 도입되면, 증강으로 학습된 에이전트는 성능이 7.45%만 저하되는 반면, 원본 데이터만으로 학습된 에이전트는 원래 성능의 49.82%에 그친다. 이러한 결과는 스트리밍 환경에 맞춘 시공간 증강이 강건하고 효율적인 게임 플레이 에이전트를 학습하기 위한 단순하면서도 강력한 도구임을 분명히 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.