게임을 생성하는 것은 실제로 플레이 가능한 게임을 만드는 것과 같지 않습니다. 기존의 코드 생성 접근 방식은 종종 프롬프트(prompt)를 결과물로 직접 변환하므로 상호작용 수준의 결함을 감지하지 못합니다. 본 논문에서는 게임 생성에 플레이어가 필요하다고 주장하며, 그래픽 사용자 인터페이스(GUI) 에이전트(agent)의 두 가지 역할을 연구합니다. 첫째, 8개 장르에 걸친 200개의 브라우저 기반 게임 생성 작업과 각 작업에 매핑된 플레이 중 예상 동작 루브릭을 포함하는 평가 환경(environment)인 PlaytestArena를 소개합니다. 독립적인 GUI 심사위원은 각 빌드를 로드하고 플레이하여 이러한 루브릭을 판정합니다. 둘째, 게임 에이전트와 루브릭을 알지 못하는(rubric-blind) GUI 플레이테스터가 공유 메모리를 통해 반복적으로 게임을 생성, 플레이, 개선하는 Play2Code를 제안합니다. 플레이테스터는 게임플레이 트레이스와 실행 가능한 피드백을 제공하고, 별도의 GPT-5.5 심사위원이 최종 벤치마크 점수를 부여합니다. 3개의 프론티어 백본 전반에서 Play2Code는 66.8%의 루브릭 통과율을 달성하여 단일 패스(single-pass) 및 에이전트 기반 코딩 기준선(baseline)을 각각 37.1점과 14.6점 능가했습니다. 또한 점수는 개선 라운드를 거치며 단조롭게 향상됩니다. 추가 분석에 따르면 GUI 에이전트 피드백은 완전히 기록되고 추적 가능한 반면, 피드백의 우선순위는 모델(model) 백본에 따라 크게 달라집니다. 이러한 결과는 GUI 플레이테스트가 대화형 코드 생성을 위한 평가 및 개선 신호로 확립될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://continual-game-generation.vercel.app/ 에서 확인할 수 있습니다.
완전한 애플리케이션 개발을 코딩 에이전트(agent)에 위임하려면 단순한 프롬프팅을 통해 그럴듯한 결과물을 만들어내는 것이 아니라 의도된 설계를 보존해야 한다. 게임 개발은 까다로운 테스트베드를 제공하는데, 장문의 게임 설계 문서(Game Design Document, GDD)는 게임 로직, 시각적 렌더링, 플레이어 상호작용 전반에 걸쳐 함께 작동해야 하는 요구사항을 기술하기 때문이다. 그러나 기존의 게임 개발 벤치마크는 일반적으로 간결한 명세를 사용하며, 장문 GDD에서 이러한 측면들 간의 상호 의존적인 요구사항을 평가하는 데 제한적인 지원만을 제공한다. 우리는 에이전트의 엔드투엔드 게임 개발을 평가하기 위한 100개의 장문 GDD로 구성된 벤치마크인 A2Z GameSpec-Bench를 소개한다. 우리는 게임이 GDD 요구사항을 충족하고 그 요구사항들 간의 관계를 보존하는지를 확인하여 충실도(faithfulness)를 측정한다. 각 GDD는 규칙, 제약 조건, 선행 관계(prerequisite relation)를 포함하는 의존성 인식 계약(dependency-aware contract)으로 변환된다. 게임 개발 관행을 따라, 우리는 소스 코드 검사와 에이전트가 생성한 테스트 정책을 결합하여 시나리오 기반 리플레이와 적응형 플레이테스팅을 수행한다. 계약은 에이전트와 수정 라운드 전반에 걸쳐 고정된 상태로 유지되며, 동일한 요구사항과 연결된 판정과 근거는 일관된 비교와 실패 탐지를 지원한다. 우리의 평가 결과, 현재 에이전트는 코드 구현과 실제 플레이 전반에 걸쳐 상호 의존적인 요구사항을 동시에 충족하는 데 어려움을 겪는 것으로 나타났다. 요구사항별 피드백은 두 라운드 이후 자기 수정(self-revision) 대비 GDD 충실도를 10.9% 상대적으로 향상시킨다. A2Z GameSpec-Bench는 구현 판정을 넘어선 엔드투엔드 명세 준수 능력을 평가하며, 더 충실한 게임 개발을 지원하기 위한 맞춤형 피드백을 제공한다. 코드와 데이터셋은 https://a2z-gamespec-bench.github.io 에서 확인할 수 있다.
학습된 판별자(judge)를 기준으로 코드 생성기를 사후 학습(post-training)하면, 실제 결과물을 개선하지 않고도 점수를 높이는 프록시 특성이 최적화될 수 있다. 본 논문은 이와 반대되는 신호, 즉 결정론적이고 판별자 없이 조작이 불가능한 필터—생성된 프로젝트가 헤드리스 엔진에서 정상적으로 실행되는지 여부(strict-launch)—를 연구한다. 이 게이트 하에서 거절 샘플링(rejection-sampling) 자기 증류(self-distillation)는 패밀리 외(out-of-family) 일반화를 복합적으로 향상시킨다. 자연어 지시문을 완전한 Godot 프로젝트로 변환하는 GameCraft-Bench에서, strict-launch 하에 증류된 14B 모델(Qwen3-14B+LoRA)은 세 라운드에 걸쳐 미관측 네 가지 게임 패밀리에서의 정상 생성률을 후보당 8.8%에서 42.2%로, best-of-K 커버리지를 18/25에서 25/25(골드 상한)로 끌어올렸으며, 각 라운드에서 유의미한 향상을 달성했다(p=0.0019, p<1e-4, p<1e-4). 이 향상은 단순히 데이터를 추가한 결과가 아니다: 정확히 일치하는 골드 복제 제어 실험은 기본 모델보다 낮은 성능(5.6% vs. 8.8%, p=0.019)으로 회귀한 반면, 수량을 맞춘 분해 실험은 라운드 1에서 2로의 도약을 품질(+8.8pp)과 수량(+8.5pp)의 비슷한 두 채널로 분리했다. 가장 직접적인 증거로, 필터만 교체하여—실행 게이트 대신 생성물의 99.9%를 통과시키는 관대한 BUILD 검사로—루프를 재실행하면 향상이 완전히 사라지고(기본 모델 수준으로 회귀, p=1e-3 vs. 실행-게이팅 라운드), 옵티마이저가 아닌 검증기의 정밀도(precision)가 결정 요인임이 분리된다. 두 번째 조작 불가능한 신호인 헤드리스 실행 그라운딩(headless execution grounding)은 라운드 전반에 걸쳐 단조롭게 증가하며, 동일한 예산에서 골드 복제보다 훨씬 많은 그라운딩된 후보를 생성해(16 vs. 5), 향상이 기능적임을 확인한다—단순히 실행만 되고 내용이 없는 것이 아니라. 게임 생성은 하나의 교훈을 위한 검증 가능한 테스트베드다: 검증기가 커리큘럼이다—검증기가 인증하는 것이 모델이 학습하는 것이다.
게임 생성은 코딩 에이전트의 새로운 응용 분야로, 자연어 명세를 플레이 가능한 인터랙티브 시스템으로 변환하는 능력을 모델에 요구한다. 전통적인 코딩 태스크와 달리, 게임 생성은 게임 엔진 내에서 이루어지며, 스크립트·씬·에셋·렌더링·런타임 인터랙션이 유기적으로 결합되어 일관된 게임플레이를 만들어야 한다. 우리는 엔드투엔드 게임 생성을 목표 환경에서 관찰 가능한 플레이어-게임 인터랙션을 통해 명세를 실현하는 완전한 게임 아티팩트를 생성하는 문제로 형식화한다. 이 설정을 평가하려면 엔진 그라운딩(Engine Grounding), 아티팩트 완전성(Artifact Completeness), 인터랙티브 검증(Interactive Verification)이라는 세 가지 요건이 필요함을 주장한다. 우리는 재현된 데모와 루브릭 기반 멀티모달 판정을 통해 실행 가능한 게임플레이를 평가하는 인터랙션 기반 평가 프레임워크를 제안한다. 이 프레임워크를 15개 게임 패밀리에 걸친 140개의 Godot 태스크로 구성된 벤치마크인 GameCraft-Bench로 구체화한다. 최신 코딩 에이전트에 대한 평가 결과, 엔드투엔드 게임 생성은 여전히 매우 어려운 과제임이 드러났다: 가장 강력한 에이전트도 41.46%밖에 달성하지 못했으며, 대부분의 에이전트는 40% 미만의 점수를 기록했다. 추가 분석에 따르면, 에이전트들이 인식 가능한 메커닉을 구현하는 경우는 많지만, 충분한 콘텐츠·기능적 시각 피드백·일관된 표현을 갖춘 완전한 게임을 제공하는 데는 어려움을 겪는 것으로 나타났다. 데모, 코드, 데이터는 https://tongxuluo.github.io/gamecraft-bench-website 에서 확인할 수 있다.