PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28671v1cs.LG

레짐 전환 확산 모델에서의 선형-이차 스택엘버그 미분 게임을 위한 엔트로피 정규화 강화학습

Entropy-Regularized Reinforcement Learning for Linear-Quadratic Stackelberg Differential Games in Regime-Switching Diffusion Models

스택엘버그 미분 게임(SDG)은 확률적 연속 시간 환경에서 계층적 의사결정을 위한 강력한 프레임워크를 제공하지만, 특히 고차원 시스템에서 전통적인 동적 프로그래밍과 해밀턴-야코비-벨만-이삭스(HJBI) 방법의 복잡성으로 인해 그 해법은 계산적으로 여전히 난이도가 높다. 본 논문은 마르코프 레짐 전환에 의해 지배되는 연속 시간 확산 프레임워크 내에서 선형-이차 SDG(LQ-SDG)에 대한 엔트로피 정규화 강화학습(ERRL) 접근법을 제안한다. 핵심 혁신은 엔트로피 정규화를 갖는 탐색적 약결합 HJBI 방정식을 유도하는 것으로, 이는 고전적 SDG 방법의 한계인 최적이 아닌 균형을 적극적으로 회피하는 확률적 정책을 촉진한다. 신경망은 레짐 의존적 가치 함수를 근사하고 고차원 편미분방정식(PDE)을 효율적으로 풀기 위해 통합되며, 새로운 샘플링 기법이 계산 가능성을 향상시킨다. 수치 결과는 탐색적 정책을 통해 최적이 아닌 함정을 탈출하는 측면에서 기존 접근법에 비해 프레임워크의 효과성을 입증한다. 이 연구는 갑작스러운 환경 변화 하에서 계층적 의사결정 문제의 강건한 해법을 달성하는 데 있어 엔트로피 정규화와 신경망 근사의 중요한 역할을 강조한다.