arXiv:2606.21350v1 cs.LG

시간적 행동 트리의 보상-페트리넷 해석

A Reward-Petri-Net Interpretation of Temporal Behavior Trees

Till Schmeil, Günther Waxenegger-Wilfing, Sebastian Schirmer

제출 2026-06-19

한국어 초록

이 논문은 강화학습(RL)을 위해 시간적 행동 트리(TBT, Temporal Behavior Trees)를 보상-페트리넷(RPN, Reward-Petri-Nets)으로 해석하는 방법을 소개한다. 복잡하고 장기적인 로봇 작업에 대한 보상(reward) 함수를 설계하는 것은 특히 작업이 계층적 구조와 시간적 제약을 가질 때 매우 어렵다. TBT는 로봇 응용에서 사용되는 기존 행동 트리(BT, Behavior Trees)를 확장하여 리프 노드에 시간적 속성을 통합한다. 이를 통해 TBT는 Sequence, Fallback, Parallel과 같은 BT 연산자에 의해 정의된 행동적 작업 구조뿐만 아니라 작업의 시간적 제약도 표현할 수 있다. 본 연구에서 제약 조건은 선형 시간 논리(Linear Temporal Logic)를 사용하여 리프 노드에 명시된다. TBT를 활용하여 강화학습의 보상을 산출하기 위해, TBT를 페트리넷(PN, Petri Net)으로 변환하는 방법을 제시하고 TBT의 구조를 기반으로 보상이 자동으로 할당되어 RPN이 생성되는 방식을 보인다. 점점 더 도전적인 일련의 환경에서, TBT 기반 보상이 기존 강화학습이 실패하는 상황에서 학습을 가능하게 하고, 샘플 효율성을 개선하며, 학습 진행에 대한 유연하고 직관적인 제어를 제공함을 입증한다. 서로 다른 보상 분배 방식과 TBT 구조를 사용하여 학습에 미치는 영향을 시연한다.

원문 초록

This paper introduces an interpretation of Temporal Behavior Trees (TBTs) as Reward-Petri-Nets (RPNs) for reinforcement learning (RL). Designing reward functions for complex, long-horizon robotic tasks is notoriously difficult, especially when tasks have hierarchical structure and temporal constraints. TBTs extend conventional behavior trees (BTs) used in robotic applications by incorporating temporal properties into their leaf nodes. This allows TBTs to represents not only the behavioral task structure defined by BT operators such as Sequence, Fallback, and Parallel, but also the task's temporal constraints. In this work, the constraints are specified in the leaf nodes using Linear Temporal Logic. In order to inform RL rewards using TBTs, we provide a translation from TBT into a Petri Net (PN) and show how rewards can be automatically assigned based on the TBT's structure, resulting in a RPN. In a series of increasingly challenging environments, we demonstrate how TBT-based rewards enable learning where vanilla RL fails, improve sample efficiency, and offer flexible, intuitive control over the learning progress. We showcase the learning impact by using different reward distribution schemes and TBT structures.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.21350v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24025v1cs.AI공통 태그 Reinforcement Learning, Continuous Control, Sequential Decision Making, behavior trees

프로그래밍 정책 탐색을 통한 연속 게임용 반응형 캐릭터 행동 합성

Synthesizing Reactive Character Behaviors for Continuous Games via Programmatic Policy Search

본 논문은 연속 게임에서 반응형 캐릭터 행동을 간결하고 사람이 읽을 수 있는 프로그램 형태로 합성하는 방법을 제시한다. 게임 AI 실무는 여전히 수작업으로 작성한 행동 트리, 상태 기계, 스크립트에 크게 의존하는 반면, 학계의 강화학습은 학습 비용이 크고 수정하기 어려운 불투명한 신경망 제어기를 주로 만든다. 우리 접근은 연속 공간 게임 정책을 위한 도메인 특화 언어 위에서 직접 탐색함으로써 이 간극을 메운다. 이 언어는 반응형 기하학적 의사결정을 중심으로 설계되었으며 방향 최대화(direction maximization)와 같은 고차(higher-order) 구성을 포함한다. 이러한 구성은 연속 행동 공간을 열거 가능한 프로그램 구조로 이산화하는 데 도움이 된다. 프로그램 탐색을 실용적으로 만들기 위해, 행동적 커버리지는 유지하면서 중복 프로그램 형태를 제거하는 대규모 합성 안티패턴(synthesis antipatterns) 집합을 도입한다. 또한 하향식(bottom-up) 기호 열거와 코딩 에이전트의 하향식(top-down) 안내를 결합한다. 그 결과 방법인 agentic sketching은 에이전트가 고수준 정책 구조를 제안하고 열거기를 호출해 지역 프로그램 슬롯을 채우도록 한다. 14개의 연속 게임으로 구성된 벤치마크에서 방법을 평가했으며, 고전 제어 과제부터 다중 에이전트 축구까지 범위에 걸친다. 순수 열거만 사용하는 것이 코딩 에이전트 단독 사용보다 종종 더 효율적이며, 결합 방법은 둘 모두를 크게 능가한다. 결과는 프로그래밍 정책 탐색이 게임 AI를 위한 실용적인 저작 도구가 될 수 있음을 시사한다. 디자이너가 보상 함수를 지정하면 시스템이 효과적이고 이식 가능하며 종종 놀라운 수준의 편집 가능한 행동을 발견한다.

arXiv:2609.27667v1cs.LG공통 태그 Reinforcement Learning, Continuous Control, Sequential Decision Making

위험 민감성과 크리틱 일관성 정규화를 적용한 강건한 적대적 강화학습

Robust Adversarial Reinforcement Learning with Risk Sensitivity and Critic Consistency Regularization

강화학습(RL)은 순차적 의사결정에서 강한 성능을 달성하지만, 동적 불�determ실성과 분포 이동 하에서는 여전히 취약하다. 강건한 적대적 강화학습(RARL)은 최악의 경우 교란을 통해 견고성을 개선하지만, 기존 접근법은 불안정한 최적화와 저하된 가치 추정에 자주 시달린다. 특히 과도하게 공격적인 적대자는 에이전트를 정보가 없는 실패 상태로 이끌 수 있으며, 적대적 교란은 이중 크리틱 간 불일치를 증폭시키고 편향된 가치 타깃을 유도한다. 우리는 위험 민감(risk-sensitive) 관점에서 적대적 RL을 재검토하는 통합 프레임워크 RACER(Risk-sensitive robust Adversarial critic ConsistEncy-regularized Reinforcement learning)를 제안한다. 먼저, 상태 의존적 적대적 목적함수를 도입하여 교란 강도를 적응적으로 조절하고, 유해한 교란을 억제하면서 정보가 있는 탐험을 유지한다. 둘째, Q-가치 추정기 간 불일치를 줄이고 학습을 안정화하기 위해 크리틱 일관성 정규화를 제안한다. 도전적인 연속 제어 벤치마크에 대한 포괄적 실험은 RACER가 강력한 강건 RL 베이스라인 대비 성능, 견고성, 학습 안정성을 지속적으로 개선함을 보여준다.

arXiv:2610.13504v1cs.LG공통 태그 Reinforcement Learning, Sequential Decision Making

시간적 근접성을 넘어서: 강화학습에서의 신용 할당을 위한 설명적 월드 모델

Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning

생성형 추천 시스템(Generative Recommenders)은 결정 이후 수백 또는 수천 번의 상호작용이 지난 뒤에야 나타나는 결과를 최적화하기 위해 점점 더 강화학습(Reinforcement Learning, RL)을 활용하고 있다. 표준 강화학습은 명시적인 관련성이 아니라 시간적 근접성에 따라 보상을 전파하며, 이로 인해 멀리 떨어져 있지만 중요한 행동에 할당되는 신호가 약화되고 샘플 비효율성의 원인이 된다. 우리는 설명(explanation)을 사용하여 실현된 결과에 그럴듯하게 기여했을 이전 사건들을 식별하는 귀속(attribution) 프레임워크인 설명적 월드 모델(Explanatory World Models, EWM)을 소개한다. 우리는 프론티어 언어 모델을 사용하여 EWM을 구체화하고, 할인되지 않은 에피소드 리턴(undiscounted episode return)을 보존하면서 보상을 재귀적으로 재분배하는 보수적인 계층적 연산자(hierarchical operator)를 통해 그 설명을 학습 신호로 사용한다. 무엇이 유용한 설명을 구성하는지를 조사하기 위해, 우리는 Halpern의 실제 인과관계(actual causation), Lombrozo의 설명적 단순성(explanatory simplicity), Deutsch의 변형하기 어려운 설명(hard-to-vary explanations)에서 영감을 받은 세 가지 상호 보완적인 변형을 구체화한다. 우리는 두 가지 통제된 장기 호라이즌(long-horizon) 강화학습 벤치마크, 공개된 순차적 추천(sequential-recommendation) 벤치마크, 그리고 산업 규모의 생성형 추천 시스템에서 EWM을 평가한다. Crafter와 WordCraft에서 EWM은 PPO와 LaRe를 크게 상회하며, 보상이 가장 지연될 때 가장 큰 성능 향상을 보인다. KuaiRand에서 EWM은 오프라인에서 SFT와 LaRe를, 온라인에서 A2C를 상회한다. 마지막으로, 산업용 생성형 추천 시스템에 대한 오프라인 평가에서 EWM은 재현율(Recall)을 상당히 개선하고 행동 대리 지표(behavioral proxies)를 증가시킨다. 이러한 결과는 설명이 지연된 결과로부터 학습하기 위한 구조화되고 재사용 가능한 신용(credit)을 제공할 수 있음을 시사한다.

arXiv:2610.13816v1cs.RO공통 태그 Reinforcement Learning, Continuous Control

Dream to Remember: 월드 모델을 활용한 범용 로봇 정책의 지속적 스티어링

Dream to Remember: Continual Steering of Generalist Robot Policies with World Models

범용 로봇 정책(generalist robot policy)은 모방 학습(imitation learning)으로 학습되며, 시연(demonstration)의 품질과 범위에 의해 제한된다. 강화학습은 정책 가중치를 미세조정하거나, 고정된(frozen) 생성형 정책의 입력 노이즈를 조정(steer)하는 작은 모듈을 학습시킴으로써 이를 개선하고 확장할 수 있다. 태스크가 순차적으로 주어질 때, 두 접근 방식 모두 치명적 망각(catastrophic forgetting)을 겪는다. 한 태스크에 대한 미세조정은 이전 태스크의 성능을 저하시키며, 스티어링 방식은 망각을 공유 스티어링 모듈로 옮길 뿐이다. 우리는 고정된 범용 정책을 새로운 태스크로 지속적으로 스티어링하면서도 이전에 습득한 능력을 유지하는 Dream to Remember(D2R)를 제안한다. 스티어링 모듈이 새로운 태스크를 학습하는 동안, 고정된 사전학습 월드 모델(world model)이 상상된 롤아웃(imagined rollout)을 통해 이전 태스크를 리허설(rehearse)함으로써, 리플레이 버퍼나 새로운 데이터 없이도 모듈을 이전 행동에 고정(anchor)시킨다. 월드 모델이 충분히 충실할 경우, D2R은 새로운 태스크를 전적으로 상상(imagination) 속에서 학습한다. 그렇지 않은 경우, 월드 모델은 이전 태스크를 리허설하는 데에만 사용하면서 새로운 태스크는 환경에서 직접 학습한다. CALVIN에서 D2R은 여덟 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하여 평균 성공률을 63.7%에서 74.8%로 끌어올렸으며, 동일한 시퀀스에 대한 LoRA 미세조정은 성공률을 11.7%로 떨어뜨렸다. 고정된 기성(off-the-shelf) 범용 정책과 월드 모델인 π0와 A2World를 사용하여, D2R은 환경에서 보지 못한 LIBERO-90 태스크를 학습하면서도 π0가 미세조정되었던 LIBERO 스위트에서의 성능을 유지하는데, 이는 월드 모델이 정책 최적화에는 충분히 정확하지 않은 경우에도 가능하다. 마지막으로, 실제 Franka 로봇에서 D2R은 세 개의 태스크를 순차적으로 전적으로 상상 속에서 개선하면서도 이전에 이루어진 개선을 유지한다.

arXiv:2610.10768v1cs.CE공통 태그 Reinforcement Learning, Sequential Decision Making

에너지 전환에서의 가치 창출을 위한 전략적 투자 의사결정: 강화학습 기반 접근법

Strategic Investment Decision Making for Value Creation in Energy Transition: A Reinforcement Learning Approach

기후 변화라는 전 지구적 과제는 2015년 파리 협정과 같은 국제적 합의에 따라 CO2 배출량을 감축하기 위한 중대한 조치들을 이끌어냈습니다. 너무 느리게 대응하면 향후 손실과 평판 훼손을 초래할 수 있는 반면, 너무 빠르게 움직이면 기술적 미성숙으로 인한 많은 재생에너지 프로젝트의 한계 수익성이나 잠재적 손실로 인해 주주 가치를 위협할 수 있습니다. 이러한 복잡한 전환 과정을 헤쳐나가기 위해 에너지 기업은 불확실성 속에서 의사결정의 유연성을 통해 가치 창출을 극대화하는 순차적 의사결정(SDM) 전략을 도입해야 합니다. 이를 지원하기 위해 본 연구에서는 2050년까지의 동적인 에너지 환경을 모델링하는 맞춤형 시뮬레이션 환경을 개발했습니다. 이를 기반으로 석유 및 가스, 재생에너지, CO2 감축의 세 가지 부문에 자금을 배분하기 위한 다양한 포트폴리오 관련 의사결정 전략을 탐색하는 다기준 SDM 프레임워크를 설계했습니다. 이는 생산량, 에너지 가격 및 비용의 불확실성을 고려하면서 전환 과정에서 가치를 극대화하는 것을 목표로 합니다. 이 프레임워크는 이익 극대화, CO2 사회적 비용 최소화, 재생에너지 부문에서의 경쟁 우위 확보라는 세 가지 목표를 가집니다. 본 연구는 정의된 SDM 프레임워크 내에서 최적의 투자 정책을 도출하기 위해 강화학습(RL)의 활용 가능성을 평가합니다. 에이전트의 순차적 의사결정은 석유 및 가스 생산량, 재생에너지 발전량, CO2 배출량, 수익과 같은 핵심 변수에 영향을 미침으로써 가상의 동적 환경을 형성합니다. 반복적인 상호작용을 통해 강화학습 알고리즘은 상태 공간을 탐색하고 불확실성 하에서 최적의 정책을 학습합니다. 본 연구는 강화학습 전략을 수동으로 정의된 일련의 기준선 정책들과 비교 평가하였으며, 적응성과 장기적 가치 창출 측면에서 일관되게 우수한 성능을 보임을 확인했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.