선형 계획의 Fisher-Rao 그래디언트 흐름과 상태-행동 자연 정책 그래디언트
Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients
한국어 초록
Kakade의 자연 정책 그래디언트 방법은 최근 몇 년간 광범위하게 연구되어 왔으며, 정규화의 유무와 관계없이 선형 수렴을 보인다. 우리는 상태-행동 분포의 Fisher 정보 행렬에 기반한 또 다른 자연 그래디언트 방법을 연구하는데, 이 방법은 이론적 측면에서 거의 주목받지 못했다. 여기서 상태-행동 분포는 선형 포텐셜에 대해 상태-행동 다면체 내부에서 Fisher-Rao 그래디언트 흐름을 따른다. 따라서 우리는 더 일반적으로 선형 계획의 Fisher-Rao 그래디언트 흐름을 연구하고, 선형 계획의 기하에 의존하는 속도로 선형 수렴함을 보인다. 동치적으로, 이는 선형 계획의 엔트로피 정규화에 의해 유발되는 오차에 대한 추정을 제공하며, 기존 결과를 개선한다. 우리는 이러한 결과를 확장하여, 근사 오차까지 교란된 Fisher-Rao 그래디언트 흐름과 자연 그래디언트 흐름에 대해 아선형 수렴을 보인다. 특히, 이러한 일반적인 결과는 상태-행동 자연 정책 그래디언트의 경우를 포함한다.
원문 초록
Kakade's natural policy gradient method has been studied extensively in recent years, showing linear convergence with and without regularization. We study another natural gradient method based on the Fisher information matrix of the state-action distributions which has received little attention from the theoretical side. Here, the state-action distributions follow the Fisher-Rao gradient flow inside the state-action polytope with respect to a linear potential. Therefore, we study Fisher-Rao gradient flows of linear programs more generally and show linear convergence with a rate that depends on the geometry of the linear program. Equivalently, this yields an estimate on the error induced by entropic regularization of the linear program which improves existing results. We extend these results and show sublinear convergence for perturbed Fisher-Rao gradient flows and natural gradient flows up to an approximation error. In particular, these general results cover the case of state-action natural policy gradients.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2403.19448v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.