완화된 확률 제어 문제를 위한 연속 정책 및 가치 반복과 그 수렴성
Continuous Policy and Value Iteration for Relaxed Stochastic Control Problems and Its Convergence
본 논문에서는 랑주뱅(Langevin) 유형의 동역학을 통해 확률 제어 문제의 가치 함수 근사와 최적 제어를 동시에 업데이트하는 연속 정책-가치 반복(continuous policy-value iteration) 알고리즘을 소개합니다. 본 연구는 무한 구간(infinite horizon)을 갖는 엔트로피 정규화된 완화 제어 문제에 초점을 맞춥니다. 해밀토니안(Hamiltonian)의 단조성 조건 하에서 정책 개선을 확립하고 최적 제어로의 수렴(convergence)을 입증합니다. 정책 반복 방향을 따라 연속적인 업데이트를 수행하기 위해 랑주뱅 유형의 확률 미분 방정식을 활용함으로써, 제안하는 접근법은 머신러닝의 분포 샘플링 기법을 사용하여 가치 함수를 최적화하고 최적 제어를 동시에 식별할 수 있도록 합니다. 비오목(non-concave) 보상(reward)을 갖는 LQ 모델(model)과 비대칭 라플라스(skewed-Laplace) 최적 제어를 갖는 비-LQ 예제에 대한 수치 실험 결과를 제시합니다.