arXiv:2606.20118v3 cs.RO

Pose6DAug: 로봇 데이터 증강을 위한 물리적으로 타당한 다중 시점 객체 교체

Pose6DAug: Physically Plausible Multi-view Object Swapping for Robot Data Augmentation

Jonghoon Lee, Seong Hyeon Park, Byungwoo Jeon, Minha Lee, Jinwoo Shin

제출 2026-06-18

한국어 초록

비전-언어-행동(VLA) 정책은 범용 조작 작업에서 강한 잠재력을 보였으나, 외형이나 기하가 학습 분포에서 벗어난 새로운 분포 외 객체에서는 자주 실패한다. 표준적인 해결책은 모든 실패 사례에 대해 다중 시점 원격 조작 데이터를 수집하는 것이지만, 이는 비용과 시간 면에서 확장성이 떨어진다. 우리는 새로운 데이터 수집 없이 기존의 성공 에피소드를 정책의 실패 유형에 맞춘 시연으로 전환하는 실패 주도형 데이터 증강 프레임워크 Pose6DAug를 소개한다. 핵심 통찰은 각 성공 에피소드가 이미 물리적으로 유효한 행동 궤적과 보정된 다중 시점 관측을 함께 담고 있다는 것이다. 이 궤적을 보존한 채 조작 대상 객체만 교체함으로써 물리적으로 근거 있는 새로운 시연을 얻는다. 그러나 객체 교체를 합성하는 데에는 어려움이 있으며, 예를 들어 단순한 2D 비디오 편집은 특히 심한 가림과 자기중심 시점에서 다중 시점 일관성과 물리적 타당성을 깨뜨린다. 우리의 방법은 대신 3D에서 직접 동작하여, 시간적으로 일관된 6D 자세 궤적으로 구동되는 명시적 메시로 대상 객체를 고정한다. 이는 모든 카메라 시점에서 기하학적으로 일관된 렌더링을 보장한다. 제안 방법으로 증강한 데이터로 VLA를 미세조정하면 새로운 객체에서 최신 기준선 대비 성공률이 16.5% 향상되며, 분포 내 성능은 유지된다. 실제 로봇에서는 기본 정책의 성공률을 두 배 이상으로 높인다. 이러한 결과는 다중 시점 및 물리적으로 일관된 증강이 확장 가능한 VLA 일반화를 위한 실용적인 경로임을 보여준다.

원문 초록

Vision-language-action (VLA) policies have shown strong potential for general-purpose manipulation, yet they often fail on novel, out-of-distribution objects whose appearance or geometry deviates from the training distribution. The standard remedy is to collect multi-view teleoperation data for every failure case, but this scales poorly in both cost and time. We introduce Pose6DAug, a failure-driven data augmentation framework that turns existing successful episodes into targeted demonstrations for a policy's failure modes, without any new data collection. Our key insight is that each successful episode already encodes a physically valid action trajectory together with calibrated multi-view observations. By swapping only the manipulated object while preserving this trajectory, we obtain new and physically grounded demonstrations. However, the challenge lies in synthesizing object swaps, e.g., naive 2D video editing breaks multi-view consistency and physical plausibility, particularly under heavy occlusion and egocentric viewpoints. Our method instead operates directly in 3D, anchoring the target object with an explicit mesh driven by a temporally coherent 6D pose trajectory. This ensures geometrically consistent renderings across all camera views. Fine-tuning a VLA on data augmented by our method improves success rates by 16.5% relative to the state-of-the-art baseline on novel objects, while preserving in-distribution performance. On a real robot, it more than doubles the success rate of the base policy. These results show that multi-view and physically consistent augmentation is a practical path to scalable VLA generalization.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20118v3제출 시각 미확인
  2. arXiv:2606.20118v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.