PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21350v1cs.LG

시간적 행동 트리의 보상-페트리넷 해석

A Reward-Petri-Net Interpretation of Temporal Behavior Trees

이 논문은 강화학습(RL)을 위해 시간적 행동 트리(TBT, Temporal Behavior Trees)를 보상-페트리넷(RPN, Reward-Petri-Nets)으로 해석하는 방법을 소개한다. 복잡하고 장기적인 로봇 작업에 대한 보상(reward) 함수를 설계하는 것은 특히 작업이 계층적 구조와 시간적 제약을 가질 때 매우 어렵다. TBT는 로봇 응용에서 사용되는 기존 행동 트리(BT, Behavior Trees)를 확장하여 리프 노드에 시간적 속성을 통합한다. 이를 통해 TBT는 Sequence, Fallback, Parallel과 같은 BT 연산자에 의해 정의된 행동적 작업 구조뿐만 아니라 작업의 시간적 제약도 표현할 수 있다. 본 연구에서 제약 조건은 선형 시간 논리(Linear Temporal Logic)를 사용하여 리프 노드에 명시된다. TBT를 활용하여 강화학습의 보상을 산출하기 위해, TBT를 페트리넷(PN, Petri Net)으로 변환하는 방법을 제시하고 TBT의 구조를 기반으로 보상이 자동으로 할당되어 RPN이 생성되는 방식을 보인다. 점점 더 도전적인 일련의 환경에서, TBT 기반 보상이 기존 강화학습이 실패하는 상황에서 학습을 가능하게 하고, 샘플 효율성을 개선하며, 학습 진행에 대한 유연하고 직관적인 제어를 제공함을 입증한다. 서로 다른 보상 분배 방식과 TBT 구조를 사용하여 학습에 미치는 영향을 시연한다.