확산(diffusion) 기반 궤적 플래너는 오프라인 강화학습에서 높은 성능을 보여왔으나, 반복적인 노이즈 제거 과정으로 인해 추론 비용이 크다는 문제가 있다. 일관성(consistency) 기반 플래너는 샘플링 단계 수를 줄이지만, 일반적으로 학습 비용을 높이고 불안정성을 초래할 수 있는 2단계 교사-학생 지식 증류(distillation) 파이프라인에 의존한다. 우리는 숏컷 모델을 효율적인 궤적 생성기로 활용하는 오프라인 모델 기반 강화학습 프레임워크인 Shortcut Trajectory Planning(STP)을 제안한다. STP는 단일 단계에서 조건부 숏컷 궤적 모델을 학습하고, 스텝 크기 조건화를 통해 조정 가능한 단일 스텝 및 소수 스텝 추론을 지원하며, 실현 가능성 인식 보정(feasibility-aware correction)으로 보강된 크리틱을 사용하여 후보 계획을 선택한다. 이동(locomotion), 내비게이션, 조작(manipulation), 정교한 제어 태스크를 포함한 표준 D4RL 벤치마크 전반에서 STP는 빠른 생성적 계획을 위한 학습 파이프라인을 단순화하면서 높은 성능을 달성한다.
오프라인 강화학습은 추가적인 환경 상호작용 없이 고정된 데이터셋으로부터 정책 학습을 가능하게 하며, 온라인 탐험이 비용이 크거나 안전하지 않은 안전 중요 애플리케이션에 매력적이다. 확산 기반 의사결정 방법은 풍부한 다중모드 궤적 분포를 모델링함으로써 최근 오프라인 강화학습에서 강한 성능을 달성했다. 그러나 기존 확산 플래너는 일반적으로 위험 중립적이어서, 실제 배포에서 중요한 드물지만 치명적인 결과를 간과할 수 있다. 본 연구에서는 확산 기반 궤적 생성과 분포적 가치 크리틱을 결합한 위험 민감 오프라인 확산 계획 프레임워크인 RS-Diffuser를 제안한다. RS-Diffuser는 미래 상태 궤적에 대한 확산 플래너, 행동 디코딩을 위한 별도의 역동역학(inverse dynamics) 모델, 그리고 분위 회귀(quantile regression)를 통해 후보 계획의 전체 수익 분포를 추정하는 Monte Carlo 분포적 크리틱을 학습한다. 샘플링 시점에 Conditional Value at Risk(CVaR)와 같은 꼬리 인식(tail-aware) 목적 함수로부터 계산된 그래디언트를 사용하여 탈노이징(denoising) 과정에 위험 민감 가이던스 신호를 통합하고, 원하는 위험 프로파일을 향해 생성을 유도한다. 그 결과, 단일 학습 모델은 추론 시점의 위험 매개변수만 변경함으로써 위험 회피, 위험 중립, 또는 위험 추구 행동을 유연하게 생성할 수 있다. 위험 민감 D4RL 및 위험한 로봇 내비게이션 벤치마크에 대한 광범위한 실험은 RS-Diffuser가 최첨단 성능을 달성하며, 전체 수익과 최악의 경우 강건성을 모두 개선하면서 안전 위반을 줄였음을 보여준다.
부분 관측 가능한 환경 내비게이션을 위해 BeliefDiffusion을 제안하며, 확산 모델로 관찰 이력에 맞는 다중 모달 맵 신념(belief)을 생성하고 모델 예측 제어(MPC)로 여러 후보 구성에 걸쳐 경로를 계획한다. 합성 맵 실험에서 모델 프리 강화학습 및 다른 생성적 접근 대비 내비게이션 성공률과 경로 효율이 유의미하게 높았다.
단기 호라이즌 오프라인 궤적만 사용 가능할 때, 지정된 목표에 도달하고 필수 웨이포인트를 방문하면서도 짧게 유지되는 장기 호라이즌 경로를 어떻게 계획할 수 있을까요? 이 문제는 오프라인 내비게이션에서 중요한데, 충분히 풍부한 장기 호라이즌 데이터를 수집하는 것은 어렵지만, 실제 에이전트는 단순한 실현 가능성이 아닌 경로 수준의 효율성을 갖춰 장거리 작업을 해결해야 하기 때문입니다. 어려움은 두 가지입니다. 미시적 수준에서는 많은 단기 호라이즌 세그먼트를 구성하는 것이 탐색 비용과 경로 품질 사이의 트레이드오프를 야기하는 반면, 거시적 수준에서는 웨이포인트 순서 결정을 위해 계획 전에는 알 수 없고 장기 시간적 거리로만 추정할 때 신뢰도가 낮아지는 시작, 목표, 웨이포인트 앵커 간의 쌍별 이동 비용을 비교해야 합니다. 본 논문에서는 앵커 체이닝 트리 디퓨전 플래너와 온라인 멀티 트리 오케스트레이터를 통해 로컬 브리지 탐색과 온라인 경로 재계획을 결합한 폐루프 계획 시스템인 ChronoForest를 제안합니다. ChronoForest는 단거리 가이던스와 노드 평가를 위해 시간적 거리를 사용하는 한편, 장거리 앵커 연결성을 검증하고 경로를 반복적으로 재계획하기 위해 탐색 시점 브리지 증거를 활용합니다. OGBench AntMaze-Stitch에서 ChronoForest는 medium, large, giant 분할에서 각각 99.8%, 99.3%, 99.5%의 성공률을 달성했으며, 이전에 보고된 디퓨전 기반 결과 대비 거대 스티치(giant-stitch) 성공률을 최대 34.5포인트 향상시켰습니다. 해밀턴 경로 구성 벤치마크에서 온라인 재계획은 부적절한 시간적 순서를 수정하고 경로 품질을 향상시키면서도 전수 탐색 계획보다 훨씬 낮은 비용을 유지합니다.