레짐 전환 점프-확산 과정에서의 제로섬 확률적 미분 게임을 위한 엔트로피 정규화 강화학습
Entropy Regularized Reinforcement Learning for Zero-Sum Stochastic Differential Games in a Regime-Switching Jump-Diffusion Process
기존의 확률적 미분 게임(SDG) 프레임워크에서 매개변수 오지정 및 갑작스러운 구조적 환경 변화를 해결하기 위해, 본 논문은 연속 상태, 이산 레짐 상태, 매개변수에 조건부로 최적 전략을 행동에 대한 확률 분포로 특성화하는 분포적 제어 접근법을 도입한다. 이는 레짐 전환 점프-확산 과정에서의 엔트로피 정규화 제로섬 확률적 미분 게임(ERRL-ZSSDGs)을 위한 강화학습 프레임워크를 구성한다. 동적 프로그래밍 원리(DPP)를 활용하여 연립 Hamilton-Jacobi-Bellman-Isaacs(HJBI) 방정식 시스템을 도출하며, 이로부터 균형 전략이 가치 함수의 기울기를 통해 표현된다. 선형-이차 문제의 경우, 연립 상미분 방정식(ODE) 시스템을 풀어 가치 함수와 균형 전략 모두에 대한 반해석적 해를 구한다. 보다 일반적인 설정에서는 서로 다른 레짐에 걸쳐 가치 함수와 균형 정책을 근사하기 위한 액터-크리틱 정책 개선 알고리즘이 개발된다. 이 방법을 투자 게임에 적용하고, 수치 예제를 통해 온도 매개변수와 레짐 전환이 최적 정책 및 가치에 미치는 영향을 보여준다.