Feint Behaviors and Strategies: Formalization, Implementation and Evaluation
원문 초록
Feint behaviors refer to a set of deceptive behaviors in a nuanced manner, which enable players to obtain temporal and spatial advantages over opponents in competitive games. Such behaviors are crucial tactics in most competitive multi-player games (e.g., boxing, fencing, basketball, motor racing, etc.). However, existing literature does not provide a comprehensive (and/or concrete) formalization for Feint behaviors, and their implications on game strategies. In this work, we introduce the first comprehensive formalization of Feint behaviors at both action-level and strategy-level, and provide concrete implementation and quantitative evaluation of them in multi-player games. The key idea of our work is to (1) allow automatic generation of Feint behaviors via Palindrome-directed templates, combine them into meaningful behavior sequences via a Dual-Behavior Model; (2) concertize the implications from our formalization of Feint on game strategies, in terms of temporal, spatial and their collective impacts respectively; and (3) provide a unified implementation scheme of Feint behaviors in existing MARL frameworks. The experimental results show that our design of Feint behaviors can (1) greatly improve the game reward gains; (2) significantly improve the diversity of Multi-Player Games; and (3) only incur negligible overheads in terms of time consumption.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
상태 인식 탐험을 활용한 이중 흐름 강화학습
Dual-Flow Reinforcement Learning with State-Aware Exploration
복잡한 연속 제어 강화학습 과제에서 다봉(multimodal) 최적 행동은 불확실한 다봉 수익 분포와 함께 나타나는 경우가 많아, 신뢰할 수 있는 가치 추정과 다봉 탐험이 어렵다. 단봉 가우시안을 사용하는 기존 가치 추정 방법은 표현력을 제한하고 편향된 추정을 초래한다. 최근의 생성 정책은 다봉 행동을 표현할 수 있지만, 소수의 모드로 붕괴되어 행동 공간의 고가치 영역을 충분히 탐험하지 못하는 경우가 많다. 이러한 문제에 착안하여, 우리는 조건부 플로우 매칭(CFM)을 사용하여 연속 수익 분포와 다봉 정책 분포를 함께 모델링하는 통합 액터-크리틱 프레임워크인 Dual-Flow RL을 제안한다. 이 설계는 신뢰할 수 있는 가치 추정과 지속적인 다봉 탐험을 지원한다. 탐험을 더욱 향상시키기 위해, 정책 엔트로피와 행동 불확실성 공분산을 활용하여 상태 인식 탐험 조절을 가능하게 하는 엔트로피-공분산 탐험 조절기(ECER, Entropy-Covariance Exploration Regulator)를 도입한다. DeepMind Control Suite와 Humanoid-Bench에서의 실험 결과, Dual-Flow RL은 대부분의 과제에서 최첨단 성능을 달성하며, 기존 확산 기반 및 플로우 기반 방법을 크게 능가함을 보인다.
Minimal MMAO: 적응형 메타휴리스틱 탐색을 위한 자원 폐쇄 루프 프레임워크
Minimal MMAO: A Resource-Closed-Loop Framework for Adaptive Metaheuristic Search
공정 예산 연속 및 이산 벤치마크에서 MMAO의 대규모 실증 평가
A Large-Scale Empirical Evaluation of MMAO Under Fair-Budget Continuous and Discrete Benchmarks
Rate-Aware Quantum-Inspired Trajectory Learning for Interference-Limited Multi-UAV Networks
AI 기반 그리드 엣지 협조를 위한 유한 표본 확률적 안전성 인증
Finite-Sample Probabilistic Safety Certification for AI-Based Grid-Edge Coordination
베이지안 내쉬를 넘어서: 비대칭 정보 하의 적대적 팀 게임을 위한 미니맥스-후회 균형 학습
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
토론
이 논문과 연결된 포럼 글이 아직 없습니다.