arXiv 2603.21016
초록 정보가 없습니다.
이 이메일 도메인이 관측된 논문 3건
초록 정보가 없습니다.
Entropy-Regularized Reinforcement Learning for Linear-Quadratic Stackelberg Differential Games in Regime-Switching Diffusion Models
스택엘버그 미분 게임(SDG)은 확률적 연속 시간 환경에서 계층적 의사결정을 위한 강력한 프레임워크를 제공하지만, 특히 고차원 시스템에서 전통적인 동적 프로그래밍과 해밀턴-야코비-벨만-이삭스(HJBI) 방법의 복잡성으로 인해 그 해법은 계산적으로 여전히 난이도가 높다. 본 논문은 마르코프 레짐 전환에 의해 지배되는 연속 시간 확산 프레임워크 내에서 선형-이차 SDG(LQ-SDG)에 대한 엔트로피 정규화 강화학습(ERRL) 접근법을 제안한다. 핵심 혁신은 엔트로피 정규화를 갖는 탐색적 약결합 HJBI 방정식을 유도하는 것으로, 이는 고전적 SDG 방법의 한계인 최적이 아닌 균형을 적극적으로 회피하는 확률적 정책을 촉진한다. 신경망은 레짐 의존적 가치 함수를 근사하고 고차원 편미분방정식(PDE)을 효율적으로 풀기 위해 통합되며, 새로운 샘플링 기법이 계산 가능성을 향상시킨다. 수치 결과는 탐색적 정책을 통해 최적이 아닌 함정을 탈출하는 측면에서 기존 접근법에 비해 프레임워크의 효과성을 입증한다. 이 연구는 갑작스러운 환경 변화 하에서 계층적 의사결정 문제의 강건한 해법을 달성하는 데 있어 엔트로피 정규화와 신경망 근사의 중요한 역할을 강조한다.
Entropy Regularized Reinforcement Learning for Zero-Sum Stochastic Differential Games in a Regime-Switching Jump-Diffusion Process
기존의 확률적 미분 게임(SDG) 프레임워크에서 매개변수 오지정 및 갑작스러운 구조적 환경 변화를 해결하기 위해, 본 논문은 연속 상태, 이산 레짐 상태, 매개변수에 조건부로 최적 전략을 행동에 대한 확률 분포로 특성화하는 분포적 제어 접근법을 도입한다. 이는 레짐 전환 점프-확산 과정에서의 엔트로피 정규화 제로섬 확률적 미분 게임(ERRL-ZSSDGs)을 위한 강화학습 프레임워크를 구성한다. 동적 프로그래밍 원리(DPP)를 활용하여 연립 Hamilton-Jacobi-Bellman-Isaacs(HJBI) 방정식 시스템을 도출하며, 이로부터 균형 전략이 가치 함수의 기울기를 통해 표현된다. 선형-이차 문제의 경우, 연립 상미분 방정식(ODE) 시스템을 풀어 가치 함수와 균형 전략 모두에 대한 반해석적 해를 구한다. 보다 일반적인 설정에서는 서로 다른 레짐에 걸쳐 가치 함수와 균형 정책을 근사하기 위한 액터-크리틱 정책 개선 알고리즘이 개발된다. 이 방법을 투자 게임에 적용하고, 수치 예제를 통해 온도 매개변수와 레짐 전환이 최적 정책 및 가치에 미치는 영향을 보여준다.