PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21726v1cs.AI

마르코프 의사결정 과정에서의 엔트로피 목적함수

Entropy Objectives in Markov Decision Processes

확률적 시스템의 상태 분포에 집중(concentration) 성질을 강제하는 제어 정책(control policy)을 합성(synthesize)하는 문제를 고려한다. 이 문제를 마르코프 의사결정 과정(MDP)에서 엔트로피 기반 목적함수를 유지하기 위한 전략을 합성하는 형태로 형식화한다. 먼저 이 문제의 완화된 버전조차 복잡도 이론적으로 어렵다는 것을 보인다. 이어서 이러한 엔트로피 목적함수에 대한 전략을 검증하고 합성하기 위한 건전(sound)하고 (조건부) 상대적 완전(relative completeness)성을 갖는 방법을 제시한다. 주된 난제는 이러한 목적함수의 비선형적 특성이며, 우리의 접근법은 볼록 이중성(convex duality)과 불변식 합성(invariant synthesis)의 아이디어를 활용하고 결합함으로써 이를 다룬다. 또한 엔트로피 목적함수를 보장하는 데 있어 메모리와 랜덤화(randomization)의 역할을 조사한다. 마지막으로, 몇 가지 설명용 벤치마크(benchmark)에서 접근법을 경험적으로 평가하기 위해 아이디어를 구현한다.