PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24025v1cs.AI

프로그래밍 정책 탐색을 통한 연속 게임용 반응형 캐릭터 행동 합성

Synthesizing Reactive Character Behaviors for Continuous Games via Programmatic Policy Search

본 논문은 연속 게임에서 반응형 캐릭터 행동을 간결하고 사람이 읽을 수 있는 프로그램 형태로 합성하는 방법을 제시한다. 게임 AI 실무는 여전히 수작업으로 작성한 행동 트리, 상태 기계, 스크립트에 크게 의존하는 반면, 학계의 강화학습은 학습 비용이 크고 수정하기 어려운 불투명한 신경망 제어기를 주로 만든다. 우리 접근은 연속 공간 게임 정책을 위한 도메인 특화 언어 위에서 직접 탐색함으로써 이 간극을 메운다. 이 언어는 반응형 기하학적 의사결정을 중심으로 설계되었으며 방향 최대화(direction maximization)와 같은 고차(higher-order) 구성을 포함한다. 이러한 구성은 연속 행동 공간을 열거 가능한 프로그램 구조로 이산화하는 데 도움이 된다. 프로그램 탐색을 실용적으로 만들기 위해, 행동적 커버리지는 유지하면서 중복 프로그램 형태를 제거하는 대규모 합성 안티패턴(synthesis antipatterns) 집합을 도입한다. 또한 하향식(bottom-up) 기호 열거와 코딩 에이전트의 하향식(top-down) 안내를 결합한다. 그 결과 방법인 agentic sketching은 에이전트가 고수준 정책 구조를 제안하고 열거기를 호출해 지역 프로그램 슬롯을 채우도록 한다. 14개의 연속 게임으로 구성된 벤치마크에서 방법을 평가했으며, 고전 제어 과제부터 다중 에이전트 축구까지 범위에 걸친다. 순수 열거만 사용하는 것이 코딩 에이전트 단독 사용보다 종종 더 효율적이며, 결합 방법은 둘 모두를 크게 능가한다. 결과는 프로그래밍 정책 탐색이 게임 AI를 위한 실용적인 저작 도구가 될 수 있음을 시사한다. 디자이너가 보상 함수를 지정하면 시스템이 효과적이고 이식 가능하며 종종 놀라운 수준의 편집 가능한 행동을 발견한다.

arXiv:2606.21350v1cs.LG

시간적 행동 트리의 보상-페트리넷 해석

A Reward-Petri-Net Interpretation of Temporal Behavior Trees

이 논문은 강화학습(RL)을 위해 시간적 행동 트리(TBT, Temporal Behavior Trees)를 보상-페트리넷(RPN, Reward-Petri-Nets)으로 해석하는 방법을 소개한다. 복잡하고 장기적인 로봇 작업에 대한 보상(reward) 함수를 설계하는 것은 특히 작업이 계층적 구조와 시간적 제약을 가질 때 매우 어렵다. TBT는 로봇 응용에서 사용되는 기존 행동 트리(BT, Behavior Trees)를 확장하여 리프 노드에 시간적 속성을 통합한다. 이를 통해 TBT는 Sequence, Fallback, Parallel과 같은 BT 연산자에 의해 정의된 행동적 작업 구조뿐만 아니라 작업의 시간적 제약도 표현할 수 있다. 본 연구에서 제약 조건은 선형 시간 논리(Linear Temporal Logic)를 사용하여 리프 노드에 명시된다. TBT를 활용하여 강화학습의 보상을 산출하기 위해, TBT를 페트리넷(PN, Petri Net)으로 변환하는 방법을 제시하고 TBT의 구조를 기반으로 보상이 자동으로 할당되어 RPN이 생성되는 방식을 보인다. 점점 더 도전적인 일련의 환경에서, TBT 기반 보상이 기존 강화학습이 실패하는 상황에서 학습을 가능하게 하고, 샘플 효율성을 개선하며, 학습 진행에 대한 유연하고 직관적인 제어를 제공함을 입증한다. 서로 다른 보상 분배 방식과 TBT 구조를 사용하여 학습에 미치는 영향을 시연한다.

arXiv:2606.18223v1cs.CR

신경기호 자율 사이버 에이전트를 위한 관측 기반 레드 에이전트 정책 학습

Learning Red Agent Policy from Observations for Neurosymbolic Autonomous Cyber Agents

점점 더 정교한 사이버 공격이 확산됨에 따라, 현대 네트워크에는 강화학습(RL)으로 학습된 지능형 자율 사이버 방어 에이전트가 필요하다. 이러한 에이전트는 행동 트리(behavior tree)와 학습 활성화 구성요소(LEC) 같은 신경기호적 접근법을 사용하여 중요 운영을 유지하면서 학습하고, 추론하고, 적응하며, 보안 규칙을 구현한다. 그러나 이러한 자율 네트워크는 부분 관측 가능(partially observable) 시스템이며, 즉 사이버 공격자(레드 에이전트)의 행동은 관측할 수 없어 방어자가 레드 행동을 예측하고, 레드 정책을 학습하거나, 공격자의 침입 수준을 평가하기 어렵다. 이를 해결하기 위해, 우리는 이산 상태와 이산 행동을 가진 부분 관측 가능 강화학습 에이전트의 정책을 학습하기 위해 모방 학습(imitation learning)을 사용하는 정책 학습 기법(Policy Learning Technique)을 제안한다. 우리는 이 기법을 자율 사이버 환경에 적용하여 네트워크 관측 및 방어자 행동으로부터 레드 에이전트의 행동을 예측한다. 신경기호 사이버 방어 에이전트와 통합된 본 방법은 다양한 레드 정책을 효과적으로 처리하며, 다양한 시뮬레이션 시나리오에서 높은 예측 정확도를 달성한다.