본 논문은 연속 게임에서 반응형 캐릭터 행동을 간결하고 사람이 읽을 수 있는 프로그램 형태로 합성하는 방법을 제시한다. 게임 AI 실무는 여전히 수작업으로 작성한 행동 트리, 상태 기계, 스크립트에 크게 의존하는 반면, 학계의 강화학습은 학습 비용이 크고 수정하기 어려운 불투명한 신경망 제어기를 주로 만든다. 우리 접근은 연속 공간 게임 정책을 위한 도메인 특화 언어 위에서 직접 탐색함으로써 이 간극을 메운다. 이 언어는 반응형 기하학적 의사결정을 중심으로 설계되었으며 방향 최대화(direction maximization)와 같은 고차(higher-order) 구성을 포함한다. 이러한 구성은 연속 행동 공간을 열거 가능한 프로그램 구조로 이산화하는 데 도움이 된다. 프로그램 탐색을 실용적으로 만들기 위해, 행동적 커버리지는 유지하면서 중복 프로그램 형태를 제거하는 대규모 합성 안티패턴(synthesis antipatterns) 집합을 도입한다. 또한 하향식(bottom-up) 기호 열거와 코딩 에이전트의 하향식(top-down) 안내를 결합한다. 그 결과 방법인 agentic sketching은 에이전트가 고수준 정책 구조를 제안하고 열거기를 호출해 지역 프로그램 슬롯을 채우도록 한다. 14개의 연속 게임으로 구성된 벤치마크에서 방법을 평가했으며, 고전 제어 과제부터 다중 에이전트 축구까지 범위에 걸친다. 순수 열거만 사용하는 것이 코딩 에이전트 단독 사용보다 종종 더 효율적이며, 결합 방법은 둘 모두를 크게 능가한다. 결과는 프로그래밍 정책 탐색이 게임 AI를 위한 실용적인 저작 도구가 될 수 있음을 시사한다. 디자이너가 보상 함수를 지정하면 시스템이 효과적이고 이식 가능하며 종종 놀라운 수준의 편집 가능한 행동을 발견한다.
매력적인 퍼즐 게임 설계를 위해 플레이어 경험을 정확하게 모델링하고 이해하는 것은 매우 중요합니다. 이를 위해 일반적으로 다양한 사용자 데이터를 수집하여 플레이어 행동을 모방하는 예측적 플레이테스팅 모델을 학습시킵니다. 그러나 기존의 데이터 기반 방법들은 플레이어 전략의 전체 범위를 포착하는 능력이 부족한 경우가 많으며, 광범위한 특징(feature) 엔지니어링과 네트워크 아키텍처 모델링을 필요로 합니다. 이 한계는 새로운 게임 메커닉이나 특징이 도입될 때 특히 두드러지며, 이 경우 모델을 지속적으로 조정해야 합니다. 이러한 과제를 해결하기 위해, 우리는 지속적인 특징 엔지니어링 유지보수의 필요성을 줄이거나 심지어 제거하는 보다 일반화된 표현 방식을 제안합니다. 구체적으로, 우리는 두 가지 범용 네트워크 아키텍처를 조사합니다: (a) 트랜스포머 기반 모델(BERT)과 (b) 그래프 어텐션(attention) 모델(GAT)로, 두 아키텍처 모두 Candy Crush Saga(CCS) 게임 보드의 관계 구조를 효과적으로 포착하도록 설계되었습니다. 우리의 실험은 이 접근법들을 합성곱 신경망(CNN) 베이스라인과 비교하여, 난이도 높은 보드 구성에서 더 나은 성능을 보임을 밝히고 일반화 가능한 표현 방식의 이점을 부각합니다.
매직: 더 개더링의 드래프트 포맷에서 카드 선택 시퀀스를 인코딩하기 위해 집합-맥락화된 카드 임베딩을 생성하는 트랜스포머 인코더 기반 모델 DraftEncoder를 제안한다. 대규모 실제 드래프트 데이터에서 선형 베이스라인 대비 일관된 성능 향상을 달성하며, MTG 드래프트 승률 예측을 위한 최초의 학습 기반 벤치마크를 확립한다.
Efficient tactical knowledge extraction and analysis in real-time strategy (RTS) games micromanagement are constrained by the high-dimensional coupled state-action sequential data and the black-box decision-making process. Current research rarely provides a hierarchical visualization-based attribution analysis from the perspective of data decoupling and abstraction. To facilitate interpretable tactical knowledge extraction and visualization-based analysis in RTS games, a systematic framework named state-action-tactic analysis pipeline (SAT-RTS) is proposed. To decipher the deep-seated drivers of critical decisions in RTS learning systems, this work integrates interpretable visualization with the automated extraction of latent tactical patterns from high-dimensional sequence data. By adapting a cluster-centric BK-tree algorithm and incorporating specialized distance metrics designed to quantify multi-aspect similarities, the proposed framework facilitates robust state-stream abstraction. Furthermore, a rule-based multi-label extraction method is developed to transform unstructured state-action sequences into discrete and interpretable tactical labels, effectively bridging the gap between raw behavioral data and high-level tactical insights. By holistically integrating these computational methods into a hierarchical visualization-based pipeline, the proposed framework effectively addresses the challenges of processing massive real-time data streams while providing fitness landscape visualizations and analytical insights to decipher deep-seated tactical drivers. Comprehensive experiments demonstrate that the proposed SAT-RTS significantly enhances the interpretability and efficiency of tactical analysis in complex RTS environments.
비디오 게임에서의 몰입감은 그래픽, 오디오, 게임 메커니즘뿐만 아니라 게임 내 캐릭터의 품질에도 달려 있습니다. 설득력 있는 캐릭터, 즉 게임 AI를 제작하는 것은 행동의 복잡성을 수작업으로 코딩된 시스템으로 포착하기 어렵기 때문에 여전히 중요한 과제로 남아 있습니다. 게임 AI는 몰입과 참여의 원천이지만, 게임 AI 제작의 어려움에서 비롯되는 한계는 종종 좌절감을 유발하고 게임 내 현실감의 환상을 깨뜨립니다. 머신러닝 모델의 도입은 게임 내에서 더 설득력 있고, 진정성 있으며, 공감 가는 캐릭터를 만드는 길을 열어줍니다. 기대하는 바는 이들이 게임과의 상호작용이나 플레이어 데이터를 통해 학습하여 진정으로 인간과 유사한 행동을 발전시키는 것입니다. 본 논문에서 우리는 미래의 게임 AI를 위한 강화학습의 더 많은 응용을 전망합니다. 이것이 실현되기 위해서는, 현재 연구의 한계가 다양한 게임 장르에 걸친 광범위한 배포를 방해하고 있습니다. 따라서 우리는 게임 AI와 게임 개발에 적합한 요구사항 세트를 염두에 두고 강화학습 모델을 학습시키기 위한 프레임워크를 제안합니다. 우리는 강화학습으로 보강된 게임 AI가 적용된 게임의 예시를 제시하고, 현대 게임에서 플레이어 대면 머신러닝 에이전트를 배포하는 실제적인 측면을 설명합니다. 또한, 우리는 이러한 영역에서의 병목 현상과 난제를 식별하며, 이것들이 비디오 게임 산업의 게임 AI에 머신러닝 도입을 가속화할 수 있는 유망한 연구 방향을 제공한다고 믿습니다.