정규화는 현대 강화학습의 핵심 기둥이다. 정규화 정책 반복(RPI)은 정규화 마르코프 결정 과정(RMDP)을 풀기 위한 기본적인 방법을 제공하며, 널리 사용되는 soft actor-critic 알고리즘은 정규화 항이 Shannon 엔트로피일 때 특수한 경우로 나타난다. 경험적으로 성공적임에도 RPI의 이론적 토대는 여전히 불명확하다. 본 논문에서는 RPI가 강볼록 정규화로 매끄럽게 만든 Bellman 방정식에 표준 Newton-Raphson 방법을 적용한 것과 형식적으로 동치임을 증명함으로써 이 간극을 해소한다. 이 동치성은 기존 방법들에 대한 통합적인 수렴 분석을 가능하게 하고 가속 알고리즘의 개발을 뒷받침한다. 우리는 RPI가 국소 이차 수렴을 갖는다는 것을 보이며, 특히 Shannon 엔트로피의 경우 이 보장은 차원에 무관하다. 또한 부정확한 정책 평가를 포함한 RPI를 추가로 연구하여, 각 Newton 단계가 잘린 반복으로 풀리는 부정확 Newton 방법과의 동치성을 확립하고, 정책 평가에 사용되는 연산자 단계의 수를 $M$이라 할 때 점근적 선형 수렴률 $γ^{M}$을 도출한다. 마지막으로, 고차 Newton 방식에 영감을 받아 세차 국소 수렴을 달성하는 RMDP용 새 알고리즘을 제안한다. 수치 실험은 우리의 이론을 뒷받침하고 제안 알고리즘의 실용적 이점을 보여준다. 전반적으로, 우리 결과는 강화학습에서 정규화에 대한 이론적 이해를 진전시키고 효율적인 알고리즘 설계를 위한 새로운 방향을 제시한다.
통계학 및 기계학습의 여러 방법들은 엔트로피 정규화 변분 목적함수가 최소화되는 확률 분포를 목표로 한다. 이러한 유연성의 증가는 계산상의 어려움을 초래하는데, 목표 분포에 대한 명시적인 비정규화 밀도에 접근할 수 없게 되기 때문이다. 이 어려움을 완화하기 위해, 우리는 '그래디언트 불일치(gradient discrepancy)'라는 새로운 준최적성 측도를 도입하며, 특히 명시적으로 계산 가능한 커널 그래디언트 불일치(KGD)를 제안한다. 베이즈 통계 맥락에서 KGD는 커널 Stein 불일치(KSD)와 일치하며, 우리는 KSD를 변분 그래디언트의 크기를 측정하는 것으로 해석하는 새로운 특성화를 얻는다. 이 익숙한 설정을 벗어난 경우에도, KGD는 비정규화 밀도를 구할 수 없을 때조차 새로운 샘플링 알고리즘의 개발 및 비교를 가능하게 한다. 이를 설명하기 위해 Stein 변분 경사하강법의 자연스러운 일반화를 포함한 여러 새로운 알고리즘을 제안하고 연구하며, 평균장 신경망 및 예측 지향 사후분포에 대한 응용을 제시한다. 이론적 측면에서 우리의 주요 기여는 연속성 및 수렴 제어와 같은 KGD의 바람직한 성질에 대한 충분조건을 확립하는 것이다.
스택엘버그 미분 게임(SDG)은 확률적 연속 시간 환경에서 계층적 의사결정을 위한 강력한 프레임워크를 제공하지만, 특히 고차원 시스템에서 전통적인 동적 프로그래밍과 해밀턴-야코비-벨만-이삭스(HJBI) 방법의 복잡성으로 인해 그 해법은 계산적으로 여전히 난이도가 높다. 본 논문은 마르코프 레짐 전환에 의해 지배되는 연속 시간 확산 프레임워크 내에서 선형-이차 SDG(LQ-SDG)에 대한 엔트로피 정규화 강화학습(ERRL) 접근법을 제안한다. 핵심 혁신은 엔트로피 정규화를 갖는 탐색적 약결합 HJBI 방정식을 유도하는 것으로, 이는 고전적 SDG 방법의 한계인 최적이 아닌 균형을 적극적으로 회피하는 확률적 정책을 촉진한다. 신경망은 레짐 의존적 가치 함수를 근사하고 고차원 편미분방정식(PDE)을 효율적으로 풀기 위해 통합되며, 새로운 샘플링 기법이 계산 가능성을 향상시킨다. 수치 결과는 탐색적 정책을 통해 최적이 아닌 함정을 탈출하는 측면에서 기존 접근법에 비해 프레임워크의 효과성을 입증한다. 이 연구는 갑작스러운 환경 변화 하에서 계층적 의사결정 문제의 강건한 해법을 달성하는 데 있어 엔트로피 정규화와 신경망 근사의 중요한 역할을 강조한다.
기존의 확률적 미분 게임(SDG) 프레임워크에서 매개변수 오지정 및 갑작스러운 구조적 환경 변화를 해결하기 위해, 본 논문은 연속 상태, 이산 레짐 상태, 매개변수에 조건부로 최적 전략을 행동에 대한 확률 분포로 특성화하는 분포적 제어 접근법을 도입한다. 이는 레짐 전환 점프-확산 과정에서의 엔트로피 정규화 제로섬 확률적 미분 게임(ERRL-ZSSDGs)을 위한 강화학습 프레임워크를 구성한다. 동적 프로그래밍 원리(DPP)를 활용하여 연립 Hamilton-Jacobi-Bellman-Isaacs(HJBI) 방정식 시스템을 도출하며, 이로부터 균형 전략이 가치 함수의 기울기를 통해 표현된다. 선형-이차 문제의 경우, 연립 상미분 방정식(ODE) 시스템을 풀어 가치 함수와 균형 전략 모두에 대한 반해석적 해를 구한다. 보다 일반적인 설정에서는 서로 다른 레짐에 걸쳐 가치 함수와 균형 정책을 근사하기 위한 액터-크리틱 정책 개선 알고리즘이 개발된다. 이 방법을 투자 게임에 적용하고, 수치 예제를 통해 온도 매개변수와 레짐 전환이 최적 정책 및 가치에 미치는 영향을 보여준다.