arXiv:2008.13548

Towards Game Design via Creative Machine Learning (GDCML)

Anurag Sarkar, Seth Cooper

제출 2020-07-25

원문 초록

In recent years, machine learning (ML) systems have been increasingly applied for performing creative tasks. Such creative ML approaches have seen wide use in the domains of visual art and music for applications such as image and music generation and style transfer. However, similar creative ML techniques have not been as widely adopted in the domain of game design despite the emergence of ML-based methods for generating game content. In this paper, we argue for leveraging and repurposing such creative techniques for designing content for games, referring to these as approaches for Game Design via Creative ML (GDCML). We highlight existing systems that enable GDCML and illustrate how creative ML can inform new systems via example applications and a proposed system.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20253v1cs.SD공통 태그 Style Transfer, Music Generation

전곡 생성의 한계 확장: 계층적 자기회귀 계획과 플로우 매칭 렌더링

Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering

본 보고서에서는 가사, 텍스트 설명, 음악적 속성으로부터 고품질의 전곡 음악을 생성할 수 있는 통합 노래 생성 프레임워크를 제시한다. 제안된 프레임워크는 세 가지 작업을 지원한다: 텍스트 설명, 가사, 음악적 속성으로부터 완전한 노래를 생성하는 Lyrics-to-Song Generation; 보컬 없이 음악을 생성하는 Instrumental Music Generation; 멜로디 내용을 보존하면서 다른 스타일로 기존 곡을 재해석하는 Cover Song Generation. 아키텍처적으로 본 시스템은 네 가지 주요 구성 요소로 이루어진다: semantic-aware tokenizer, hybird-LM, FullDiT, 2단계 melody module. 토크나이저는 오디오를 효율적인 이산 음악 표현을 위해 8-codebook RVQ 토큰으로 인코딩한다. 이러한 토큰을 기반으로 hybird-LM은 전곡 생성을 위해 계층적 자기회귀(autoregressive) 오디오-토큰 모델링을 수행한다. 오디오 충실도를 높이기 위해 FullDiT는 codec 토큰, 가사, 텍스트 캡션을 조건으로 하는 연속 VAE 잠재 공간에서 전곡 flow matching을 수행한다. Cover Song Generation의 경우 melody module은 참조 오디오에서 멜로디 단서를 추출·이산화하여 원래 멜로디 내용을 보존하면서 생성을 안내한다. 마지막으로 hybird-LM에 대해 DPO, GRPO, OPD를 보상 기반 사후 학습 전략으로 검토하고, FullDiT에 flow-based GRPO를 적용하여 음악성과 렌더링 품질을 개선한다. 다국어 자동 벤치마크에 대한 실험 결과와 Artificial Analysis Music with Vocals 리더보드가 이를 보완하며, 제안된 프레임워크가 평가된 설정에서 경쟁력 있는 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.