arXiv:2611.19047v1 cs.RO

인증 후 선택: 고정된 확산 정책의 생존 가능성 인식 런타임 조종

Certify, Then Select: Viability-Aware Runtime Steering of Frozen Diffusion Policies

Angelo Moroncelli, Loris Roveda

제출 2026-11-17

한국어 초록

무작위 잡음을 제거하여 짧은 행동 시퀀스를 생성하는 확산 정책은 시연으로부터 로봇 기술을 학습하는 주요 방법이다. 배포 후에는 시연에 없던 제약을 마주하게 되며, 제약마다 재학습하는 것은 비현실적이다. 안전 필터는 정책의 행동을 제약을 만족하도록 편집하지만, 이 편집은 과제를 무시하고 큰 편집은 정책을 계속 진행할 수 없는 상태에 둘 수 있다. 우리는 CAST(Certified Action Selection at Test time)를 제안한다. 고정된 정책에서 몇 개의 행동 청크를 뽑아 각각을 장벽 조건으로 인증하고, 학습된 가치 앙상블이 가장 높게 평가하는 인증된 청크를 실행한다. 우리는 인증된 단계는 비평가가 무엇을 하든 안전하다는 것, 인증된 표본이 존재하는 한 실행된 청크는 실행 가능성에 조건화된 정책으로부터 $\log N$ nat 이내에 머무는 반면 안전 필터 투영은 그것에 대해 특이할 수 있다는 것, 그리고 정확한 폐루프 항등식이 순위 지정의 이득을 가용성, 분산, 비평가의 목표로 분해한다는 것을 증명한다. 다음 청크를 인증하는 것만으로는 충분하지 않다. 생성형 제어기는 지금은 안전한 행동을 가질 수 있지만 나중에는 없을 수 있다. 우리는 유한 표집 아래에서 고정된 정책의 안전한 제어 권한을 규명하며, CAST-V는 유한 표본 보장 아래 모델로 추정하거나 제어기 자체의 로그로부터 학습한(CAST-VL) 정책 조건부 생존 가능성을 통해 이를 보존한다. robomimic 조작, 평면 쿼드로터, MuJoCo 휴머노이드, 유니사이클에서 고정된 정책을 사용했을 때, CAST는 거의 모든 설정에서 출력 필터보다 과제와 제약의 공동 성공률을 높이며, 필터의 편집이 큰 곳에서는 순위 지정 전 인증이 결정적이고 생존 가능성은 1단계 인증이 볼 수 없는 막다른 길의 대부분을 제거한다. 프로젝트 페이지: https://clmoro.github.io/cast.

원문 초록

Diffusion policies, which generate short action sequences by denoising random noise, are a leading way to learn robot skills from demonstrations. Once deployed, they meet constraints the demonstrations never contained, and retraining for each is impractical. A safety filter edits the policy's action to satisfy them, but the edit ignores the task, and a large edit can leave the policy where it cannot continue. We propose CAST (Certified Action Selection at Test time): draw a few action chunks from the frozen policy, certify each with a barrier condition, and execute the certified chunk that a learned value ensemble ranks highest. We prove that a certified step is safe whatever the critic does; that, whenever a certified sample exists, the executed chunk stays within log N nats of the policy conditioned on feasibility, while a safety-filter projection can be singular to it; and that an exact closed-loop identity splits the gain of ranking into availability, spread and the critic's target. Certifying the next chunk is not enough: a generative controller can have safe actions available now and none later. We characterise the safe control authority of a frozen policy under finite sampling, and CAST-V preserves it through a policy-conditioned viability, estimated with a model under a finite-sample guarantee or learned from the controller's own logs (CAST-VL). On robomimic manipulation, a planar quadrotor, a MuJoCo humanoid and a unicycle, with frozen policies, CAST raises joint task-and-constraint success above the output filter in nearly every setting; certifying before ranking is decisive where a filter's edit is large, and viability removes most dead ends that one-step certification cannot see. Project page: https://clmoro.github.io/cast.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.19047v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.