arXiv:2403.07932

Feint Behaviors and Strategies: Formalization, Implementation and Evaluation

Junyu Liu, Xiangjun Peng

제출 2024-03-04

원문 초록

Feint behaviors refer to a set of deceptive behaviors in a nuanced manner, which enable players to obtain temporal and spatial advantages over opponents in competitive games. Such behaviors are crucial tactics in most competitive multi-player games (e.g., boxing, fencing, basketball, motor racing, etc.). However, existing literature does not provide a comprehensive (and/or concrete) formalization for Feint behaviors, and their implications on game strategies. In this work, we introduce the first comprehensive formalization of Feint behaviors at both action-level and strategy-level, and provide concrete implementation and quantitative evaluation of them in multi-player games. The key idea of our work is to (1) allow automatic generation of Feint behaviors via Palindrome-directed templates, combine them into meaningful behavior sequences via a Dual-Behavior Model; (2) concertize the implications from our formalization of Feint on game strategies, in terms of temporal, spatial and their collective impacts respectively; and (3) provide a unified implementation scheme of Feint behaviors in existing MARL frameworks. The experimental results show that our design of Feint behaviors can (1) greatly improve the game reward gains; (2) significantly improve the diversity of Multi-Player Games; and (3) only incur negligible overheads in terms of time consumption.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.29820v1cs.LG공통 태그 Diversity, Multi-agent Reinforcement Learning

상태 인식 탐험을 활용한 이중 흐름 강화학습

Dual-Flow Reinforcement Learning with State-Aware Exploration

복잡한 연속 제어 강화학습 과제에서 다봉(multimodal) 최적 행동은 불확실한 다봉 수익 분포와 함께 나타나는 경우가 많아, 신뢰할 수 있는 가치 추정과 다봉 탐험이 어렵다. 단봉 가우시안을 사용하는 기존 가치 추정 방법은 표현력을 제한하고 편향된 추정을 초래한다. 최근의 생성 정책은 다봉 행동을 표현할 수 있지만, 소수의 모드로 붕괴되어 행동 공간의 고가치 영역을 충분히 탐험하지 못하는 경우가 많다. 이러한 문제에 착안하여, 우리는 조건부 플로우 매칭(CFM)을 사용하여 연속 수익 분포와 다봉 정책 분포를 함께 모델링하는 통합 액터-크리틱 프레임워크인 Dual-Flow RL을 제안한다. 이 설계는 신뢰할 수 있는 가치 추정과 지속적인 다봉 탐험을 지원한다. 탐험을 더욱 향상시키기 위해, 정책 엔트로피와 행동 불확실성 공분산을 활용하여 상태 인식 탐험 조절을 가능하게 하는 엔트로피-공분산 탐험 조절기(ECER, Entropy-Covariance Exploration Regulator)를 도입한다. DeepMind Control Suite와 Humanoid-Bench에서의 실험 결과, Dual-Flow RL은 대부분의 과제에서 최첨단 성능을 달성하며, 기존 확산 기반 및 플로우 기반 방법을 크게 능가함을 보인다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.