arXiv:2506.13862v2 cs.LG

StaQ: 이산 행동 정책 거울 하강법을 위한 유한 메모리 접근법

StaQ: a Finite Memory Approach to Discrete Action Policy Mirror Descent

Alex Davey, Alena Shilova, Brahim Driss, Riad Akrour

제출 2025-06-16

한국어 초록

강화학습(RL)에서는 연속된 정책 간의 큰 차이에 페널티를 부여하는 쿨백-라이블러 발산(Kullback-Leibler divergence)을 통한 정규화(regularization)가 이론과 실제 모두에서 널리 쓰이는 도구로 자리 잡았습니다. 흔히 정책 거울 하강법(PMD, Policy Mirror Descent)이라 불리는 이 알고리즘 계열은 함수 근사기(function approximator)를 사용할 때 필연적으로 발생하는 정책 평가 오차를 평균화하여 상쇄하는 특성을 지닙니다. 그러나 엄밀한 PMD의 닫힌 형식 해(closed-form solution)는 일반적으로 다루기 힘든 모든 과거 Q-함수들의 합을 포함하기 때문에, 주로 이론적 프레임워크로 남아 있었습니다. PMD의 일반적인 실용적 근사 방법은 자연 정책 그래디언트(natural policy gradient)를 따르거나 액터-크리틱(actor-critic) 접근법을 사용하는 것이지만, 이는 잠재적으로 정책 업데이트 과정에서 오차를 유발합니다. 본 논문에서는 마지막 $M$개의 Q-함수만을 메모리에 유지하는 이산 행동 공간용 PMD 유사 알고리즘들을 제안하고 분석합니다. 본 논문은 유한하면서도 충분히 큰 $M$에 대해, 정책 업데이트로 인한 오차를 발생시키지 않으면서도 정책 평가 오차를 상쇄하는 PMD의 바람직한 특성을 그대로 유지하는 강화학습 알고리즘을 유도할 수 있음을 이론적으로 보입니다. 또한 효율적인 GPU 구현을 통해 MinAtar와 같은 중간 규모의 강화학습 벤치마크에서 $M$을 늘리면 성능이 특정 임계값까지 향상된 후 엄밀한 PMD의 성능에 근접함을 실증적으로 보여주며, 무한합을 사용하는 것이 불필요할 수 있고 마지막 M개의 Q-함수를 메모리에 유지하는 것이 실용적이면서도 이론적 근거를 갖춘 PMD 구현 방식임을 입증합니다.

원문 초록

In Reinforcement Learning (RL), regularization with a Kullback-Leibler divergence that penalizes large deviations between successive policies has emerged as a popular tool both in theory and practice. This family of algorithms, often referred to as Policy Mirror Descent (PMD), has the property of averaging out policy evaluation errors which are bound to occur when using function approximators. However, exact PMD has remained a mostly theoretical framework, as its closed-form solution involves the sum of all past Q-functions which is generally intractable. A common practical approximation of PMD is to follow the natural policy gradient or use actor-critic approaches, but this potentially introduces errors in the policy update. In this paper, we propose and analyze PMD-like algorithms for discrete action spaces that only keep the last $M$ Q-functions in memory. We show theoretically that for a finite and large enough $M$, an RL algorithm can be derived that introduces no errors from the policy update, yet keeps the desirable PMD property of averaging out policy evaluation errors. Using an efficient GPU implementation, we then show empirically on medium-scale RL benchmarks such as MinAtar that increasing $M$ improves performance up to a certain threshold after which the performance becomes close to that of exact PMD, reinforcing the theoretical findings that using an infinite sum might be unnecessary and that keeping in memory the last M Q-functions is a practical and theoretically grounded implementation of PMD.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2506.13862v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.