본 논문에서는 랑주뱅(Langevin) 유형의 동역학을 통해 확률 제어 문제의 가치 함수 근사와 최적 제어를 동시에 업데이트하는 연속 정책-가치 반복(continuous policy-value iteration) 알고리즘을 소개합니다. 본 연구는 무한 구간(infinite horizon)을 갖는 엔트로피 정규화된 완화 제어 문제에 초점을 맞춥니다. 해밀토니안(Hamiltonian)의 단조성 조건 하에서 정책 개선을 확립하고 최적 제어로의 수렴(convergence)을 입증합니다. 정책 반복 방향을 따라 연속적인 업데이트를 수행하기 위해 랑주뱅 유형의 확률 미분 방정식을 활용함으로써, 제안하는 접근법은 머신러닝의 분포 샘플링 기법을 사용하여 가치 함수를 최적화하고 최적 제어를 동시에 식별할 수 있도록 합니다. 비오목(non-concave) 보상(reward)을 갖는 LQ 모델(model)과 비대칭 라플라스(skewed-Laplace) 최적 제어를 갖는 비-LQ 예제에 대한 수치 실험 결과를 제시합니다.
우리는 전환 비정상 마르코프 결정 과정(SNS-MDP) 프레임워크를 제안한다. 이 프레임워크에서 환경은 잠재 마르코프 사슬에 의해 지배되는 유한 개의 MDP 집합 사이를 전환하며, 에이전트는 외부 상태만을 관측한다. 이러한 전환의 장기적 효과가 은닉 마르코프 사슬의 정상 분포로 매개변수화된 정상 동역학과 등가임을 보인다. 고정된 정책에 대해 SNS 가치 함수의 닫힌 형 표현을 유도하고, 지속적인 비정상성에도 불구하고 표준 시간차(temporal-difference, TD) 학습이 이에 거의 확실하게 수렴함을 증명한다. 또한 정책 반복(policy iteration)이 등가 평균 환경의 최적 정책에 수렴함을 확립하고, 표 형식(tabular) Q-학습이 최적 Q-함수에 거의 확실하게 수렴함을 증명한다. 이 프레임워크는 마르코프적 채널 잡음을 갖는 무선 통신 네트워크에서 검증되며, 급격히 시간에 따라 변하는 시스템에서의 의사결정을 위한 실용적 효과를 보여준다.
정규화는 현대 강화학습의 핵심 기둥이다. 정규화 정책 반복(RPI)은 정규화 마르코프 결정 과정(RMDP)을 풀기 위한 기본적인 방법을 제공하며, 널리 사용되는 soft actor-critic 알고리즘은 정규화 항이 Shannon 엔트로피일 때 특수한 경우로 나타난다. 경험적으로 성공적임에도 RPI의 이론적 토대는 여전히 불명확하다. 본 논문에서는 RPI가 강볼록 정규화로 매끄럽게 만든 Bellman 방정식에 표준 Newton-Raphson 방법을 적용한 것과 형식적으로 동치임을 증명함으로써 이 간극을 해소한다. 이 동치성은 기존 방법들에 대한 통합적인 수렴 분석을 가능하게 하고 가속 알고리즘의 개발을 뒷받침한다. 우리는 RPI가 국소 이차 수렴을 갖는다는 것을 보이며, 특히 Shannon 엔트로피의 경우 이 보장은 차원에 무관하다. 또한 부정확한 정책 평가를 포함한 RPI를 추가로 연구하여, 각 Newton 단계가 잘린 반복으로 풀리는 부정확 Newton 방법과의 동치성을 확립하고, 정책 평가에 사용되는 연산자 단계의 수를 $M$이라 할 때 점근적 선형 수렴률 $γ^{M}$을 도출한다. 마지막으로, 고차 Newton 방식에 영감을 받아 세차 국소 수렴을 달성하는 RMDP용 새 알고리즘을 제안한다. 수치 실험은 우리의 이론을 뒷받침하고 제안 알고리즘의 실용적 이점을 보여준다. 전반적으로, 우리 결과는 강화학습에서 정규화에 대한 이론적 이해를 진전시키고 효율적인 알고리즘 설계를 위한 새로운 방향을 제시한다.
학습된 행동 정책은 순차적 의사결정에서 점점 더 널리 쓰이지만, 안전성 보장이 부족하다. 최근 연구는 초기 상태와 행동 결과의 비결정성 하에서 그러한 정책의 안전성을 검증하는 파이프라인을 제안했다. 이 파이프라인의 핵심은 어떤 상태가 안전한지(해당 상태에서 안전한 정책이 존재하는지)를 판정하고, 안전한 상태에서 비안전한 상태로 전이시키는 상태-행동 쌍인 결함(fault)을 찾는 문제이다. 안전성 판정에 가장 효과적이었던 TarjanSafe는 벤치마크에서 효과적이지만, 상태 공간 크기에 대해 최악 시간 복잡도가 지수적임을 보인다. 선형 시간 대안도 존재하지만 실제로는 더 느리다. 우리는 새로운 정책 반복(policy-iteration) 알고리즘 iPI로 이 간극을 메우며, 두 접근의 장점을 결합한다: TarjanSafe의 최선 경우 실행 시간과 맞먹으면서도 다항식 최악 시간 복잡도를 보장한다. 실험은 이론을 뒷받침하며, TarjanSafe에 적합한 문제에서는 iPI가 유사한 성능을 보이고, 부적합한 문제에서는 iPI가 훨씬 더 우수한 확장성을 보인다.