복잡한 플랫폼 게임을 위한 PCGRL: 팽창 포락체와 순방향 커리큘럼을 활용한 플레이 가능하고 다양한 레벨 합성
PCGRL for Complex Platformers: Synthesizing Playable and Diverse Levels via Inflated Envelopes and Forward Curricula
한국어 초록
강화학습을 통한 절차적 콘텐츠 생성(PCGRL)은 게임 개발 자동화에 활용할 수 있다. 그러나 기존 PCGRL 프레임워크는 엄격한 강체 규칙과 비선형 운동학적 경계가 있는 긴 시퀀스 생성 과제에서 심한 탐험 병목과 확장 한계를 겪는다. 플랫폼 게임이 대표적인 예다. 따라서 큰 맵에서는 기존 방식으로 만든 레벨이 풀 수 있는 상태를 안정적으로 유지하지 못하는 경우가 많다. 이를 해결하기 위해 물리적 제약을 반영하고 커리큘럼을 적용하는 PCGRL 프레임워크를 제시한다. 첫째, 팽창 체적 포락체를 구성한다. 연속 운동학적 실행 가능성을 마르코프 결정 과정(MDP)의 이산 상태 공간에 반영하는 물리 제약 표현을 제공한다. 둘째, 매우 긴 의사결정 시퀀스에서 보상이 희소한 문제를 완화하기 위해 중간 상태 전이 피드백과 다단계 순방향 확장 커리큘럼 학습을 도입한다. 이를 통해 긴 궤적에 걸쳐 충분한 정보로 가치를 추정하고 기여도를 안정적으로 배정한다. 셋째, 수렴한 결정론적 정책이 지나치게 단조로운 경로를 생성하는 문제를 줄이기 위해 합성 단계에서 엔트로피가 높은 확률적 추론을 사용한다. 사후 병렬 거부 필터로 결과를 제어한다. 실험에서 여러 규모의 환경에서 물리적으로 플레이할 수 있는 수준을 유지하면서 구조적 다양성이 크게 높아졌다. 다양한 크기의 맵을 비교했을 때 수렴 안정성과 차원 확장성이 더 높았다. 기존 PCGRL 기준선의 성능이 저하되는 조건에서도 풀 수 있는 레벨을 안정적으로 합성했다.
원문 초록
Procedural Content Generation via Reinforcement Learning (PCGRL) has emerged as a promising paradigm for automated game development. However, existing PCGRL frameworks still suffer from severe exploration bottlenecks and scaling limitations when faced with long-sequence generation tasks governed by strict rigid-body rules and non-linear kinematic boundaries (e.g., platformer constraints). Consequently, traditional approaches frequently fail to maintain reliable level solvability on large-scale canvases. To address these challenges, we present a physics-aware, curriculum-guided PCGRL framework. First, we construct an "Inflated Volume Envelope" mechanism, which provides a physics-constrained representation that incorporates continuous kinematic feasibility into the discrete state space of the MDP. Second, to alleviate the sparse reward challenge induced by extremely long decision sequences, we introduce intermediate state-transition feedback and a multi-stage forward extension curriculum learning framework, enabling informative value estimation and stable credit assignment over long-horizon trajectories. Finally, to resolve the issue where deterministic policies after convergence generate highly monotonous map paths with a lack of diversity, we activate high-entropy stochastic inference during the synthesis phase, regularized by a post-hoc parallel rejection filtering mechanism. Experimental results demonstrate that our framework significantly enhances structural diversity while maintaining high physical playability across multi-scale environments. Comparative evaluations across multi-scale canvases demonstrate that our framework maintains superior convergence stability and dimensional scalability, reliably synthesizing solvable levels where traditional PCGRL baselines degrade.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22250v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.