arXiv:2605.07116v2 cs.LG

고차원 1차 Hamilton–Jacobi–Bellman 방정식을 위한 단조 신경 정책 반복

Monotone Neural Policy Iteration for High-Dimensional First-Order Hamilton--Jacobi--Bellman Equations

Minseok Kim, Yeongjong Kim, Namkyeong Cho, Yeoneung Kim

제출 2026-05-08

한국어 초록

알려진 또는 학습된 동역학을 갖는 고차원 1차 Hamilton–Jacobi–Bellman (HJB) 방정식에 대해 신경 반이산(semi-discrete) 방법을 분석한다. 중심 차분과 인공 점성(artificial viscosity) $Nh=O(h)$가 $2d+1$번의 이동(shift)된 네트워크 질의로 평가되는 단조 연산자를 정의하며, 정책 반복(policy iteration)은 텐서 격자 없이由此 Bellman 방정식을 푼다. $h$가 고정일 때, 날카로운 성분별 조건 $\max_i|f_i|\le2N$은 모든 동결(frozen) 정책 연산자를 정책과 무관한 총 점프율을 갖는 최근접 이웃(nearest-neighbor) 마르kov 연쇄 생성자로 만든다. 균일화(uniformization)는 가측 가능(measurable) 피드백에 대한 전공간 적절성(well-posedness), 수치적 의존 영역(domain of dependence)에 대한 명시적 Poisson 꼬리(poisson-tail) 상界, 및 경계 없는 국소화(localization)를 제공한다. 이 표현은 또한 잔차와 학습된 모델 오차를 반영하는 사후(a posteriori) 정책 평가 상界를 제공한다. 탐욕적 간격(greedy-gap) 분석은 고정 $h$에서의 비정확(inexact) 정책 반복을 제어하며, 별도의 일치성(consistency) 추정은 반이산 방정식을 연속 HJB 방정식과 연결한다. 실험은 극값 꼬리(extremal tail)를 재현하고, $O(\sqrt h)$와 일치하는 수렴률과 거의 $h$에 무관한 정확 정책 반복 감쇠를 보이며, 경험적 추정량의 유효성(effectivity)을 평가한다. 비매끄(nonsmooth) 예는 연속 잔차가 점성(viscosity) 해가 아닌 해를 놓칠 수 있으나, 이동된 잔차는 결함을 감지함을 보여준다. 추가 실험은 구조화된 구간 검증(interval-verified) 인증서 보정, bang-bang 제어에서 정책 동결의 초기 예산 이점, 및 학습된 동역학 진단을 제공한다. 능동 compact-control 제약이 있는 구조화된 비선형 문제를 제조(manufactured) 반이산 기준과 대해 $d=1024$까지 검증한다.

원문 초록

We analyze a neural semi-discrete method for high-dimensional first-order Hamilton-Jacobi-Bellman (HJB) equations with known or learned dynamics. Centered differences and an artificial viscosity $Nh=O(h)$ define a monotone operator evaluated through $2d+1$ shifted network queries; policy iteration solves the resulting Bellman equation without a tensor grid. At fixed $h$, the sharp componentwise condition $\max_i|f_i|\le2N$ turns every frozen-policy operator into a nearest-neighbor Markov-chain generator with a policy-independent total jump rate. Uniformization gives whole-space well-posedness for measurable feedbacks, an explicit Poisson-tail bound on the numerical domain of dependence, and boundary-free localization. The representation also yields a posteriori policy-evaluation bounds that account for residual and learned-model errors. A greedy-gap analysis controls inexact policy iteration at fixed $h$; a separate consistency estimate connects the semi-discrete equation to the continuous HJB equation. Experiments reproduce the extremal tail, show rates consistent with $O(\sqrt h)$ and nearly $h$-independent exact-policy-iteration decay, and assess empirical estimator effectivity. A nonsmooth example shows that the continuous residual can miss a non-viscosity solution, whereas the shifted residual detects the defect. Further tests provide a structured interval-verified certificate calibration, an early-budget benefit of policy freezing for bang-bang control, and learned-dynamics diagnostics. A structured nonlinear problem with active compact-control constraints is tested against a manufactured semi-discrete reference through $d=1024$.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.07116v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.