엔트로피 정규화 선형-이차 제어를 위한 바세르슈타인 정책 그래디언트
Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control
한국어 초록
바세르슈타인 정책 그래디언트(Wasserstein policy gradient, WPG)는 행동 공간에서의 수송(transport)을 통해 상태-조건부 행동 법칙을 업데이트합니다. 본 연구에서는 엔트로피 정규화된 할인 선형-이차(LQ) 제어를 다룹니다. 벨만 검증 논증(Bellman verification argument)을 통해 비제약 문제(unrestricted problem)가 선형-가우시안 최적 정책을 가짐을 보이며, 할인된 점유 가중 상태별 바세르슈타인 그래디언트(discounted-occupancy-weighted statewise Wasserstein gradient)가 이 정책 군(policy class)에 접함을 확인합니다. 따라서 WPG는 피드백 게인과 행동 공분산에 대한 유한 차원 상미분방정식(ODE)으로 정확하게 축약됩니다. 본 논문은 이 ODE가 대역적으로 잘 정의(globally well-posed)되며, 모든 허용 가능한 초기화로부터 지수적으로 수렴함을 증명합니다. 각각의 고정된 LQ 문제에 대해, 엔트로피 온도(temperature)가 0으로 갈 때 지수(exponent)는 양의 극한값을 가지며 $\exp(-c/τ)$ 형태의 섭동 요소를 포함하지 않는 한편, 제어 문제의 조건수(conditioning)에 대한 일반적인 의존성은 그대로 유지합니다.
원문 초록
Wasserstein policy gradient (WPG) updates state-conditional action laws by transport in the action space. We study entropy-regularized discounted linear-quadratic (LQ) control. A Bellman verification argument shows that the unrestricted problem has a linear-Gaussian optimal policy, and the discounted-occupancy-weighted statewise Wasserstein gradient is tangent to this policy class. WPG therefore reduces exactly to a finite-dimensional ODE for the feedback gain and action covariance. We prove that this ODE is globally well posed and converges exponentially from every admissible initialization. For each fixed LQ problem, the exponent has a positive limit as the entropy temperature tends to zero and contains no perturbative factor of the form $\exp(-c/τ)$, while retaining the usual dependence on the conditioning of the control problem.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.07433v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.