arXiv:2403.01805v2 math.OC

선형 이차 레귤레이터 및 쿨백-라이블러 제어를 위한 찰리스 엔트로피 정규화

Tsallis Entropy Regularization for Linear Quadratic Regulator and Kullback-Leibler Control

Yota Hashizume, Koshi Oishi, Shota Yamanaka, Kenji Kashima

제출 2024-03-04

한국어 초록

섀넌 엔트로피(Shannon entropy) 정규화는 탐험(exploration)을 촉진하고 강건성을 향상하는 능력 덕분에 최적 제어에서 널리 채택되고 있으며, Soft Actor-Critic으로 알려진 최대 엔트로피 강화학습(RL)이 대표적인 예입니다. 본 논문의 목적은 섀넌 엔트로피의 1-매개변수 확장인 찰리스 엔트로피(Tsallis entropy) 기반의 정식화가 섀넌 엔트로피 기반 접근법의 구조적 및 계산적 이점을 다수 유지하면서도 추가적인 이점을 제공함을 보이는 것입니다. 특히, 선형 이차 레귤레이터(LQR)에 대한 닫힌 형식 해(closed-form solution)와 쿨백-라이블러(KL) 제어 문제에 대한 효율적인 계산 방법을 도출합니다. 또한 획득된 제어 법칙의 탐험과 희소성(sparsity) 간의 균형을 맞추는 데 있어서의 유용성을 입증합니다.

원문 초록

Shannon entropy regularization is widely adopted in optimal control due to its ability to promote exploration and enhance robustness, e.g., maximum entropy reinforcement learning known as Soft Actor-Critic. The aim of this paper is to show that formulations based on Tsallis entropy, which is a one-parameter extension of Shannon entropy, retain many of the structural and computational advantages of Shannon-entropy-based approaches while offering additional benefits. In particular, we derive a closed-form solution for the linear quadratic regulator and an efficient computational method for the Kullback-Leibler control problem. We also demonstrate its usefulness in balancing between exploration and sparsity of the obtained control law.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2403.01805v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.