Rewind-IL: 모방 학습을 위한 온라인 실패 감지 및 상태 리스폰
Rewind-IL: Online Failure Detection and State Respawning for Imitation Learning
한국어 초록
모방 학습(imitation learning)은 로봇이 시연(demonstration)으로부터 복잡한 시각-운동 제어 조작 기술을 습득할 수 있도록 해주었으나, 특히 긴 주기의 액션 청킹(action-chunked) 정책에서 실제 배포 시 발생하는 실패는 여전히 큰 장애물로 남아 있습니다. 실행이 시연 다양체(demonstration manifold)를 벗어나 드리프트되면, 이러한 정책은 실패로부터 복구되지 못한 채 국소적으로만 그럴듯한 행동을 계속 생성하는 경우가 많습니다. 기존의 런타임 모니터는 실패 데이터를 요구하거나, 무해한 특징(feature) 드리프트에도 과도하게 감지를 트리거하거나, 복구 메커니즘을 제공하지 않은 채 실패 감지에만 그칩니다. 본 논문에서는 생성형 액션 청킹 모방 정책을 위한 추가 학습(training)이 필요 없는 온라인 안전장치 프레임워크인 Rewind-IL을 제안합니다. Rewind-IL은 분할 등각 예측(split conformal prediction)으로 보정된 시간적 청크 간 불일치 추정(TIDE) 기반의 제로샷(zero-shot) 실패 감지기와, 의미론적으로 검증된 안전한 중간 상태로 로봇을 되돌리는 상태 리스폰(state-respawning) 메커니즘을 결합합니다. 오프라인에서는 비전-언어 모델(VLM)이 시연 내에서 복구 체크포인트(checkpoint)를 식별하고, 동결된 정책 인코더를 사용하여 압축된 체크포인트 특징 데이터베이스를 구축합니다. 온라인에서는 Rewind-IL이 겹치는 액션 청크 간의 자기 일관성을 모니터링하고, 체크포인트 라이브러리와의 유사도를 추적하며, 실패가 발생하면 깨끗한 정책 상태에서 추론(inference)을 재시작하기 전에 가장 최근에 검증된 안전한 상태로 실행을 되감습니다(rewind). 플로우 매칭(flow-matching) 액션 청킹 정책으로의 전이를 포함하여 실제 환경 및 시뮬레이션 환경의 긴 주기 조작 태스크에 대한 실험을 통해, 의미론적으로 그라운딩(grounding)된 리스폰과 결합된 정책 내부 일관성이 모방 학습의 신뢰성을 향상시키는 실용적인 경로를 제공함을 입증합니다. 추가 자료는 https://sjay05.github.io/rewind-il 에서 확인할 수 있습니다.
원문 초록
Imitation learning has enabled robots to acquire complex visuomotor manipulation skills from demonstrations, but deployment failures remain a major obstacle, especially for long-horizon action-chunked policies. Once execution drifts off the demonstration manifold, these policies often continue producing locally plausible actions without recovering from the failure. Existing runtime monitors either require failure data, over-trigger under benign feature drift, or stop at failure detection without providing a recovery mechanism. We present Rewind-IL, a training-free online safeguard framework for generative action-chunked imitation policies. Rewind-IL combines a zero-shot failure detector based on Temporal Inter-chunk Discrepancy Estimate (TIDE), calibrated with split conformal prediction, with a state-respawning mechanism that returns the robot to a semantically verified safe intermediate state. Offline, a vision-language model identifies recovery checkpoints in demonstrations, and the frozen policy encoder is used to construct a compact checkpoint feature database. Online, Rewind-IL monitors self-consistency in overlapping action chunks, tracks similarity to the checkpoint library, and, upon failure, rewinds execution to the latest verified safe state before restarting inference from a clean policy state. Experiments on real-world and simulated long-horizon manipulation tasks, including transfer to flow-matching action-chunked policies, demonstrate that policy-internal consistency coupled with semantically grounded respawning offers a practical route to improved reliability in imitation learning. Supplemental materials are available at https://sjay05.github.io/rewind-il
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습
Native Action-Prior Learning from Videos for World Action Models
월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.
호라이즌 불변 행동 복제를 위한 자기 지도 키프레임 발견
Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning
Optimal distribution-free sequential change detection with conformal martingales
연속적 라벨 이동 하에서의 컨포멀 베이즈: 민감도 분석과 정확한 타당성의 한계
Conformal Bayes under Continuous Label Shift: Sensitivity Analysis and the Limits of Exact Validity
라벨 조건부 등각 예측을 활용한 라디오믹스 기반 갑상선 결절 분류
Radiomics-Based Thyroid Nodule Classification with Label-Conditional Conformal Prediction
갑상선 결절의 악성도 평가는 초음파 영상에 의존하지만, 기존의 위험 계층화 시스템은 관찰자 간 상당한 변동성으로 인해 불필요한 생검 비율이 높아지는 문제를 겪고 있습니다. 본 논문에서는 PyRadiomics를 통한 정량적 특징 추출과 일반화 가산 모델(GAM) 분류기를 결합한 라디오믹스(radiomics) 기반 프레임워크를 제안합니다. 이 분류기는 판별 성능과 해석 가능성 간의 우수한 절충점을 보여 6개의 후보 중 선정되었습니다. 점 예측을 불확실성 추정으로 보완하기 위해 라벨 조건부 보장을 갖춘 교차 등각 예측(Cross-Conformal Prediction)을 적용하여, 이진 결정을 강제하기보다는 모호한 사례를 임상 검토 대상으로 플래깅(flagging)합니다. 실험은 갑상선 결절의 공개 초음파 데이터셋인 TN5000에서 수행되었습니다. 스피어만 상관관계 필터링 후 36개의 특징이 유지되었으며, GAM은 검증 세트에서 $0.89$의 AUC, $0.83$의 민감도, $0.82$의 특이도를 달성했습니다. 두 클래스 모두에 대한 실증적 커버리지 보장을 보장하도록 선택된 유의수준 $ε=0.09$에서, 테스트 세트 결절의 63\%가 확실한(즉, 단일 라벨) 예측을 받았으며, 확실한 악성에 대해서는 $0.94$의 조건부 정밀도와 확실한 양성 사례에 대해서는 $0.73$의 조건부 음성 예측도(NPV)를 기록한 반면, 나머지 37\%는 임상의에게 의뢰되었습니다.
성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
9 pages, 8 figures, 6 tables. Project page at https://sjay05.github.io/rewind-il