PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28152v1cs.LG

정규화된 보상-처벌 강화학습

Regularized Reward-Punishment Reinforcement Learning

본 논문은 보상-처벌 강화학습(RPRL)을 위한 정책 조정 프레임워크인 KL-Coupled Policy Regularization(KCPR)을 제안한다. KCPR을 기반으로 KL-Coupled Soft Optimality(KCSO)를 도출하고, 이를 딥 신경망으로 구현한 klDMP를 개발한다. 보상 추구 정책과 처벌 관련 정책을 대체로 독립적으로 최적화하는 기존 RPRL 접근법과 달리, KCPR은 각 동반 정책을 상대방에 대한 동적으로 학습된 사전(prior)으로 취급함으로써 동반 정책 간 직접 상호작용을 가능하게 한다. KCSO는 결합된 soft-optimal 정책과 KL-정규화된 Bellman 연산자를 산출하여, 보상과 처벌 정보가 가치 전파에 공동으로 영향을 미치도록 한다. 학습 안정성을 높이기 위해 동반-사전 완화(companion-prior softening) 메커니즘을 도입하고, 보상 및 처벌 관련 경험의 균형을 맞추기 위한 별도 리플레이 버퍼(replay buffer) 설계를 평가한다. grid-world 및 Gazebo 로봇 내비게이션 과제에서의 실험은 klDMP가 DQN, SQL, softDMP와 비교하여 경쟁력 있는 과제 성능을 유지하면서 안전성과 학습 안정성을 향상시킴을 보여준다. 이러한 결과는 정책 수준의 조정이 여러 행동 목표를 통합하는 효과적인 메커니즘을 제공하며, 상호작용하는 동기 과정을 갖는 강화학습 시스템의 유용한 설계 원칙이 될 수 있음을 시사한다.