mathc.rwth-aachen.de

이 이메일 도메인이 관측된 논문 1건

arXiv:2403.19448v3math.OC

선형 계획의 Fisher-Rao 그래디언트 흐름과 상태-행동 자연 정책 그래디언트

Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients

Kakade의 자연 정책 그래디언트 방법은 최근 몇 년간 광범위하게 연구되어 왔으며, 정규화의 유무와 관계없이 선형 수렴을 보인다. 우리는 상태-행동 분포의 Fisher 정보 행렬에 기반한 또 다른 자연 그래디언트 방법을 연구하는데, 이 방법은 이론적 측면에서 거의 주목받지 못했다. 여기서 상태-행동 분포는 선형 포텐셜에 대해 상태-행동 다면체 내부에서 Fisher-Rao 그래디언트 흐름을 따른다. 따라서 우리는 더 일반적으로 선형 계획의 Fisher-Rao 그래디언트 흐름을 연구하고, 선형 계획의 기하에 의존하는 속도로 선형 수렴함을 보인다. 동치적으로, 이는 선형 계획의 엔트로피 정규화에 의해 유발되는 오차에 대한 추정을 제공하며, 기존 결과를 개선한다. 우리는 이러한 결과를 확장하여, 근사 오차까지 교란된 Fisher-Rao 그래디언트 흐름과 자연 그래디언트 흐름에 대해 아선형 수렴을 보인다. 특히, 이러한 일반적인 결과는 상태-행동 자연 정책 그래디언트의 경우를 포함한다.