arXiv:2611.22367v1 cs.RO

FailureGen: 월드 모델을 이용한 대규모 로봇 실패 데이터 생성

FailureGen: Scalable Robot Failure Data Generation with World Models

Akul Santhosh, Chaitra Sathe, Aastha Jhunjhunwala

제출 2026-11-18

한국어 초록

로봇의 실패 사례를 대규모로 수집하기 어려워 로봇 학습 데이터셋에 담을 수 있는 실패 상황이 제한된다. 기록된 실패의 행동 궤적을 재사용해 시간 구간별 사건 주석이 있는 합성 비디오를 생성하는 FailureGen을 제시한다. 네 단계로 구성된다. (1) 실제로 성공하거나 실패한 실행을 사용해 행동 조건부 Cosmos 월드 모델을 미세조정한다. (2) 원본 기록에 주석을 달아 실패와 관련된 동작을 제공할 구간과, 그 구간을 삽입할 수 있는 성공 실행을 찾는다. (3) 실패 구간의 동작을 성공 실행 문맥에 옮겨 연속 비디오 롤아웃을 생성하며, 필요하면 공간 오프셋을 적용한다. (4) 관찰된 사건과 시각적 품질에 따라 생성 샘플에 주석을 달고 선별한다. 과제와 로봇 구성이 서로 다른 두 구현을 조사하고, 후속 응용의 하나로 시각 기반 실패 검출을 시험했다. 예비 비교에서 실제 데이터와 생성 데이터를 함께 학습한 검출기의 평균 정밀도는 0.51로 실제 데이터만 학습했을 때의 0.41보다 높았다. 실패 구간 36개 중 33개를 탐지했으며, 실제 데이터만 학습한 모델은 28개를 탐지했다. 관찰한 실패를 다른 문맥에서 재사용해 로봇 실패 연구와 후속 학습 방법 개발에 사용할 데이터를 늘린다.

원문 초록

Robot failures are difficult to collect at scale, limiting the range of failure scenarios represented in robot learning datasets. We present FailureGen, a method for generating synthetic videos with temporal event annotations by reusing action trajectories from recorded failures. The method comprises four stages: (1) fine-tuning an action-conditioned Cosmos world model on successful and failed real executions; (2) annotating source recordings to identify failure-associated donor segments and compatible successful hosts; (3) transferring donor motion into host contexts, with optional spatial offsets, to generate continuous video rollouts; and (4) annotating and filtering the generated samples according to observed events and visual quality. We study two implementations with different tasks and robot configurations, with visual failure detection serving as one downstream application. In a preliminary comparison, a detector trained on real and generated data achieves an average precision of 0.51, compared with 0.41 using real data alone, and detects 33 of 36 failure intervals, compared with 28 of 36. By reusing observed failures in additional contexts, FailureGen expands the data available for studying robot failures and developing downstream learning methods.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.22367v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.