안전한 오프라인 계획을 위한 학습된 월드 모델에서의 순차 볼록화
Successive Convexification in Learned World Models for Safe Offline Planning
한국어 초록
오프라인 데이터로 학습한 월드 모델은 에이전트가 환경과 추가로 상호작용하지 않고도 계획할 수 있게 한다. 그러나 월드 모델과 함께 쓰는 표본 추출 기반 계획기는 표본으로 뽑은 행동 시퀀스에 점수를 매기거나 이를 버리는 방식으로만 안전 제약을 다룬다. 본 연구는 학습한 월드 모델의 잠재 공간에서의 안전한 계획을 순차 볼록 계획(SCP)으로 정식화한다. 계획 구간의 각 단계에 학습한 이산 시간 제어 배리어 함수를 제약으로 부과한다. SCP에는 매끄러운 동역학이 필요하므로 평활화한 MaxMin 활성화와 스펙트럼 정규화를 적용한 층으로 신경망을 구성한다. 이에 따른 선형화 오차의 상한을 립시츠 상한과 평활화 폭으로 구한다. SCP는 국소 최적화 방법이므로 표본으로 뽑은 계획을 초기값으로 사용한다. 오프라인 데이터를 사용하는 Safety-Gymnasium 이동 과제 두 개의 주 비교에서, 실제 실행 시간을 같게 맞추고 표본을 128배 더 뽑은 MPPI 및 CEM보다 이 계획기의 위반이 적었다. 다만 차이는 통계적으로 유의하지 않았다. 더 긴 계획 구간에서는 누적 보상이 더 높았고, 표본 계획으로 초기화하지 않은 SCP보다 훨씬 안전했다. SCP는 립시츠 상한을 둔 모델에서 더 자주 수렴했다. 표본 추출 방식과 달리 SCP는 단계마다 현재 계획이 모델 내 계획 문제의 제약을 만족하는 1차 최적 KKT 점인지, 근방에서 제약을 만족하는 계획을 찾지 못했는지 보고한다. 구현은 https://github.com/youngers2006/scwm 에서 확인할 수 있다.
원문 초록
World models learned from offline data allow an agent to plan without further interaction with the environment, but the sampling-based planners used with them handle safety constraints only by scoring or rejecting sampled action sequences. We instead pose safe planning in the latent space of a learned world model as a successive convex program (SCP), in which a learned discrete-time control barrier function is imposed as a constraint at every step of the horizon. SCP requires smooth dynamics, so we build the networks from smoothed MaxMin activations and spectrally normalised layers, and bound the resulting linearisation error in terms of the Lipschitz bound and the smoothing width. As SCP is a local method, we start it from a sampled plan. On two Safety-Gymnasium navigation tasks with offline data, this planner has fewer violations than MPPI and CEM drawing 128 times as many samples at equal wall-clock time in our main comparison, though not significantly, and earns greater return at longer horizons, and is much safer than SCP without a sampled start. SCP converged more often on Lipschitz-bounded models. Unlike sampling, it also reports at each step whether its plan is a feasible, first-order optimal KKT point of the planning problem in the model, or that no feasible plan was found nearby. Our implementation is publicly available at https://github.com/youngers2006/scwm.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19466v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.