선형 함수 근사를 적용한 소프트맥스 정책 그래디언트의 전역 수렴에 대한 재고: 다중 팔 밴딧 문제를 중심으로
Rethinking the Global Convergence of Softmax Policy Gradient with Linear Function Approximation: The Case of Multi-Armed Bandits
정책 그래디언트(Policy Gradient, PG) 방법론은 강화학습(RL)의 실증적 성공에서 필수적인 역할을 해왔습니다. 대규모 상태-행동 공간을 다루기 위해 PG 방법론은 일반적으로 함수 근사(function approximation)와 함께 사용됩니다. 이러한 설정에서 문제 의존적 양을 모델링할 때 발생하는 근사 오차(approximation error)는 PG 방법론의 전역 수렴(global convergence)을 규명하는 핵심 개념입니다. 본 논문에서는 선형 함수 근사를 적용한 소프트맥스 PG($\texttt{Lin-SPG}$)를 연구하며, 밴딧(bandit) 설정에서조차 근사 오차가 알고리즘의 전역 수렴과 무관함을 입증합니다. 이에 따라 표준 확률적 다중 팔 밴딧(stochastic multi-armed bandit) 문제에서 근사 오차가 미치는 영향을 재고합니다. 먼저 $\texttt{Lin-SPG}$의 점근적 전역 수렴을 보장할 수 있는 정책 특징 표현(policy feature representation)에 대한 조건을 규명합니다. 이러한 특징 조건 하에서, 문제별 특정 학습률(learning rate)을 적용한 $\texttt{Lin-SPG}$의 $T$회 반복이 최적 정책으로의 $O(1/T)$ 수렴을 가져옴을 추가로 증명합니다. 나아가 임의의 상수 학습률을 적용한 $\texttt{Lin-SPG}$ 역시 최적 정책으로의 점근적 수렴을 보장할 수 있음을 증명합니다.