한국어 초록
게임을 생성하는 것은 실제로 플레이 가능한 게임을 만드는 것과 같지 않습니다. 기존의 코드 생성 접근 방식은 종종 프롬프트(prompt)를 결과물로 직접 변환하므로 상호작용 수준의 결함을 감지하지 못합니다. 본 논문에서는 게임 생성에 플레이어가 필요하다고 주장하며, 그래픽 사용자 인터페이스(GUI) 에이전트(agent)의 두 가지 역할을 연구합니다. 첫째, 8개 장르에 걸친 200개의 브라우저 기반 게임 생성 작업과 각 작업에 매핑된 플레이 중 예상 동작 루브릭을 포함하는 평가 환경(environment)인 PlaytestArena를 소개합니다. 독립적인 GUI 심사위원은 각 빌드를 로드하고 플레이하여 이러한 루브릭을 판정합니다. 둘째, 게임 에이전트와 루브릭을 알지 못하는(rubric-blind) GUI 플레이테스터가 공유 메모리를 통해 반복적으로 게임을 생성, 플레이, 개선하는 Play2Code를 제안합니다. 플레이테스터는 게임플레이 트레이스와 실행 가능한 피드백을 제공하고, 별도의 GPT-5.5 심사위원이 최종 벤치마크 점수를 부여합니다. 3개의 프론티어 백본 전반에서 Play2Code는 66.8%의 루브릭 통과율을 달성하여 단일 패스(single-pass) 및 에이전트 기반 코딩 기준선(baseline)을 각각 37.1점과 14.6점 능가했습니다. 또한 점수는 개선 라운드를 거치며 단조롭게 향상됩니다. 추가 분석에 따르면 GUI 에이전트 피드백은 완전히 기록되고 추적 가능한 반면, 피드백의 우선순위는 모델(model) 백본에 따라 크게 달라집니다. 이러한 결과는 GUI 플레이테스트가 대화형 코드 생성을 위한 평가 및 개선 신호로 확립될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://continual-game-generation.vercel.app/ 에서 확인할 수 있습니다.
원문 초록
Generating a game is not the same as making one playable. Existing code-generation approaches often translate a prompt directly into an artifact, leaving interaction-level failures undetected. We argue that game generation requires a player and study two roles for graphical user interface (GUI) agents. First, we introduce \textbf{PlaytestArena}, an evaluation environment containing 200 browser-based game-generation tasks across eight genres, each paired with rubrics of expected in-play behaviors. An independent GUI judge loads and plays each build to adjudicate these rubrics. Second, we propose \textbf{Play2Code}, in which a game agent and a rubric-blind GUI playtester iteratively generate, play, and refine games through shared memory. The playtester provides gameplay traces and actionable feedback, while a separate GPT-5.5 judge assigns final benchmark scores. Across three frontier backbones, Play2Code achieves a 66.8\% rubric pass rate, outperforming single-pass and agentic-coding baselines by 37.1 and 14.6 points, respectively. Its scores also improve monotonically across refinement rounds. Further analysis shows that GUI-agent feedback is fully logged and traceable, while its priorities vary substantially across model backbones. These results establish GUI playtesting as an evaluation and refinement signal for interactive code generation. Our project website is available at https://continual-game-generation.vercel.app/
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Opera: 장기 코딩 에이전트를 위한 언어적 비평가 프레임워크
Opera: A Verbal Critic Framework for Long-horizon Coding Agents
장기(long-horizon) 코딩 에이전트는 시의적절한 교정이 필요하지만, 피드백이 진행 중인 작업을 잘못 판단하거나 근본적인 문제를 해결하지 못할 경우 비효과적이거나 심지어 해로울 수 있습니다. 기존의 비평가(critic)들은 궤적(trajectory)을 평가하고 피드백을 생성하는 데 초점을 맞추지만, 피드백이 전달된 이후 어떤 일이 일어나는지는 거의 추적하지 않습니다. 본 논문에서는 각 교정을 지속적인 메모로 취급하여 진단된 문제가 해결될 때까지 추적하는 언어적 비평가 프레임워크인 Opera를 제시합니다. Opera는 주기적 및 이벤트 기반 트리거를 통해 검토 시점을 결정하고, 타입화된 연산자(typed operator)로 문제를 진단하며, 전달 전에 가시적인 근거를 바탕으로 피드백을 검증하고, 에이전트의 후속 행동을 추적하여 단순한 순응과 실제 해결을 구분합니다. 테스트 시점 비평가(test-time critic)로서 Opera는 4개의 정책 모델 전반에 걸쳐 Terminal-Bench 2.1, SWE-Bench Pro 하위 집합, DeepSWE v1.1에서 비-비평가 에이전트의 해결률을 각각 최대 12.4%p, 15.0%p, 8.9%p 향상시키며, 세 벤치마크 모두에서 경쟁력 있는 비평가 베이스라인 중 가장 높은 평균 해결률을 달성하고, 정책이 스스로를 비평할 때도 정책 모델을 개선합니다. 추론을 넘어, Opera 기반 롤아웃은 대략적인 온-정책(on-policy) 학습 데이터를 제공합니다. 이를 통해 Qwen3.5-9B를 미세조정(fine-tuning)하면 추론 시 비평가 없이도 미평가(held-out) SWE-Bench Pro 리포지토리에서 해결률이 10.2%p 향상되어 더 강력한 모델의 롤아웃으로 미세조정한 것과 동등한 성과를 내는 동시에, 하네스(harness)를 전환할 때(즉, Openhands에서 Terminus-2로 전환 시 후자의 경우 성능이 크게 저하됨)에도 성능을 유지합니다. 저희 코드는 https://github.com/dongyuanjushi/Opera 에서 확인할 수 있습니다.
OpenGameEval: 상태 유지형 게임 엔진에서의 에이전틱 프로그래밍 및 탐험 벤치마킹
OpenGameEval: Benchmarking Agentic Programming and Exploration in a Stateful Game Engine
우리는 Roblox Studio 내에서 에이전틱(agentic) 게임 개발을 위한 벤치마크 및 평가 프레임워크인 OpenGameEval을 제시한다. 이 프레임워크는 언어 모델을 재현 가능하고 상태를 유지하는 게임 엔진 세션 내에서 에이전트로 실행하며, 편집된 장면(scene)과 시뮬레이션된 플레이 세션 양쪽에 대해 실행 가능한 검사(executable checks)를 통해 각 실행을 평가한다. 대부분의 에이전틱 코딩 벤치마크는 탐험을 요구하지만 최종 과제 성공 여부만을 평가한다. OpenGameEval은 8개의 도구로 구성된 행동 공간(action space)에서 관찰 도구와 편집 도구를 분리하여, 탐험을 직접 측정할 수 있도록 한다. 우리는 16회의 시도로 구성된, 사람이 직접 선별한 84개의 핵심 과제에 대해 13개의 최신(frontier) 모델의 통과율과 탐험 행동을 측정한다. 이 과제들은 현재 모델들에게 어려운 것으로 나타난다. 최고 성능 모델은 한 번의 시도로 과제의 51.7%를 해결하고, 다섯 번 모두 성공하는 비율은 39.4%이며, 테스트된 모델 중 6개 과제를 해결한 모델은 없었다. 최신 모델들은 서로 다른 과제를 해결함으로써 비슷한 통과율에 도달한다. 과제를 요구되는 작업 종류별로 나누어 보면, 스크립트 작성(script-authoring) 과제에서는 상위 5개 모델 간 격차가 5.0퍼센트포인트(pp)로 벌어지고, 장면 변경(scene-change) 과제에서는 12.5퍼센트포인트로 벌어진다. 탐험 행동은 실행의 성공 여부를 예측한다. 과제와 모델을 고정했을 때, 참조 솔루션이 다루는 모든 객체를 행동에 앞서 검사하는 실행은, 장면 전용(scene-only) 과제에서는 그중 아무것도 검사하지 않은 실행보다 13.4퍼센트포인트 더 높은 비율로 성공하며, 스크립트 전용(script-only) 과제에서는 9.8퍼센트포인트 더 높은 비율로 성공한다. 우리는 과제 모음(task suite)과 해당 place 파일, 과제별 주석(annotation), Roblox Studio 내에서 과제를 실행하는 플러그인, 그리고 업데이트된 리더보드를 MIT 라이선스로 https://github.com/Roblox/open-game-eval 에 공개한다.
A2Z GameSpec-Bench: 코딩 에이전트는 게임 설계 명세로부터 얼마나 충실하게 게임을 생성할 수 있는가?
A2Z GameSpec-Bench: How Faithfully Can Coding Agents Generate Games from Game Design Specifications?
완전한 애플리케이션 개발을 코딩 에이전트(agent)에 위임하려면 단순한 프롬프팅을 통해 그럴듯한 결과물을 만들어내는 것이 아니라 의도된 설계를 보존해야 한다. 게임 개발은 까다로운 테스트베드를 제공하는데, 장문의 게임 설계 문서(Game Design Document, GDD)는 게임 로직, 시각적 렌더링, 플레이어 상호작용 전반에 걸쳐 함께 작동해야 하는 요구사항을 기술하기 때문이다. 그러나 기존의 게임 개발 벤치마크는 일반적으로 간결한 명세를 사용하며, 장문 GDD에서 이러한 측면들 간의 상호 의존적인 요구사항을 평가하는 데 제한적인 지원만을 제공한다. 우리는 에이전트의 엔드투엔드 게임 개발을 평가하기 위한 100개의 장문 GDD로 구성된 벤치마크인 A2Z GameSpec-Bench를 소개한다. 우리는 게임이 GDD 요구사항을 충족하고 그 요구사항들 간의 관계를 보존하는지를 확인하여 충실도(faithfulness)를 측정한다. 각 GDD는 규칙, 제약 조건, 선행 관계(prerequisite relation)를 포함하는 의존성 인식 계약(dependency-aware contract)으로 변환된다. 게임 개발 관행을 따라, 우리는 소스 코드 검사와 에이전트가 생성한 테스트 정책을 결합하여 시나리오 기반 리플레이와 적응형 플레이테스팅을 수행한다. 계약은 에이전트와 수정 라운드 전반에 걸쳐 고정된 상태로 유지되며, 동일한 요구사항과 연결된 판정과 근거는 일관된 비교와 실패 탐지를 지원한다. 우리의 평가 결과, 현재 에이전트는 코드 구현과 실제 플레이 전반에 걸쳐 상호 의존적인 요구사항을 동시에 충족하는 데 어려움을 겪는 것으로 나타났다. 요구사항별 피드백은 두 라운드 이후 자기 수정(self-revision) 대비 GDD 충실도를 10.9% 상대적으로 향상시킨다. A2Z GameSpec-Bench는 구현 판정을 넘어선 엔드투엔드 명세 준수 능력을 평가하며, 더 충실한 게임 개발을 지원하기 위한 맞춤형 피드백을 제공한다. 코드와 데이터셋은 https://a2z-gamespec-bench.github.io 에서 확인할 수 있다.
LiteReality-Agent: 상호작용 가능한 3D 실내 장면 복원을 위한 에이전틱 시스템
LiteReality-Agent: An Agentic System for Interactable 3D Indoor Scene Reconstruction
본 논문에서는 RGB-D 스캔으로부터 실제 실내 환경을 사실적이고 관절 구조를 갖추며(articulated) 시뮬레이션 가능한 3D 장면으로 복원하는 에이전틱(agentic) 시스템인 LiteReality-Agent를 제안한다. LiteReality-Agent는 근본적으로 3D 복원을 코딩 문제로 정식화하며, 여기서 코딩 에이전트(agent)는 특화된 도구를 사용해 근거를 수집하고 실행 시 방의 3D 디지털 트윈을 생성할 수 있는 파이썬(Python) 스크립트인 Room.py를 반복적으로 수정한다. 이러한 정식화를 바탕으로, 복원 과정 전반에 걸쳐 근거 수집, 측정, 검증, 레이아웃 최적화, 시뮬레이션 준비성 및 품질 제어를 지원하는 견고한 관찰-수정-검증(observe-edit-verify) 하네스를 개발한다. LiteReality-Agent는 시뮬레이션 및 다운스트림 체화된 AI(embodied AI) 작업에 적합한 고품질 복원 결과를 생성한다. 나아가 에이전트의 역량이 빠르게 지속적으로 향상됨에 따라, LiteReality-Agent가 도입한 시스템은 향후 에이전트를 위한 강력한 오케스트레이션 프레임워크로 기능한다. 즉, 복원 품질과 신뢰성을 크게 향상시키는 특화된 도구, 구조화된 워크플로, 견고한 검증 메커니즘을 에이전트에 제공한다. 우리는 LiteReality-Agent가 Astra 및 Fable과 같은 최근 프론티어 모델들이 생성한 결과보다 기하학적으로 더 정확하고, 시각적으로 더 사실적이며, 시뮬레이션과 더 잘 호환되는 복원 결과를 생성함을 입증한다. 따라서 우리는 LiteReality-Agent를 견고한 real-to-sim 시스템을 위한 실용적이고 중요한 기반 요소로 본다. 소스 코드와 데이터 캡처 애플리케이션은 모두 공개되어 있다. 코드: https://github.com/LiteReality/LiteReality-Agent/
검증기가 커리큘럼이다: 크로스-패밀리 게임 생성을 위한 실행-게이팅 자기 증류
The Verifier is the Curriculum: Execution-Gated Self-Distillation for Cross-Family Game Generation
학습된 판별자(judge)를 기준으로 코드 생성기를 사후 학습(post-training)하면, 실제 결과물을 개선하지 않고도 점수를 높이는 프록시 특성이 최적화될 수 있다. 본 논문은 이와 반대되는 신호, 즉 결정론적이고 판별자 없이 조작이 불가능한 필터—생성된 프로젝트가 헤드리스 엔진에서 정상적으로 실행되는지 여부(strict-launch)—를 연구한다. 이 게이트 하에서 거절 샘플링(rejection-sampling) 자기 증류(self-distillation)는 패밀리 외(out-of-family) 일반화를 복합적으로 향상시킨다. 자연어 지시문을 완전한 Godot 프로젝트로 변환하는 GameCraft-Bench에서, strict-launch 하에 증류된 14B 모델(Qwen3-14B+LoRA)은 세 라운드에 걸쳐 미관측 네 가지 게임 패밀리에서의 정상 생성률을 후보당 8.8%에서 42.2%로, best-of-K 커버리지를 18/25에서 25/25(골드 상한)로 끌어올렸으며, 각 라운드에서 유의미한 향상을 달성했다(p=0.0019, p<1e-4, p<1e-4). 이 향상은 단순히 데이터를 추가한 결과가 아니다: 정확히 일치하는 골드 복제 제어 실험은 기본 모델보다 낮은 성능(5.6% vs. 8.8%, p=0.019)으로 회귀한 반면, 수량을 맞춘 분해 실험은 라운드 1에서 2로의 도약을 품질(+8.8pp)과 수량(+8.5pp)의 비슷한 두 채널로 분리했다. 가장 직접적인 증거로, 필터만 교체하여—실행 게이트 대신 생성물의 99.9%를 통과시키는 관대한 BUILD 검사로—루프를 재실행하면 향상이 완전히 사라지고(기본 모델 수준으로 회귀, p=1e-3 vs. 실행-게이팅 라운드), 옵티마이저가 아닌 검증기의 정밀도(precision)가 결정 요인임이 분리된다. 두 번째 조작 불가능한 신호인 헤드리스 실행 그라운딩(headless execution grounding)은 라운드 전반에 걸쳐 단조롭게 증가하며, 동일한 예산에서 골드 복제보다 훨씬 많은 그라운딩된 후보를 생성해(16 vs. 5), 향상이 기능적임을 확인한다—단순히 실행만 되고 내용이 없는 것이 아니라. 게임 생성은 하나의 교훈을 위한 검증 가능한 테스트베드다: 검증기가 커리큘럼이다—검증기가 인증하는 것이 모델이 학습하는 것이다.
격렬한 기쁨은 격렬한 결말을 맞는가? 에이전틱 코드의 병합 후 운명 측정
Do These Violent Delights Have Violent Ends? Measuring the Post-Merge Fate of Agentic Code
에이전틱 코딩 도구는 실제 프로젝트에 대한 자율적인 저장소 수준의 변경을 수행하는 데 점점 더 많이 활용되고 있다. 선행 연구는 풀 리퀘스트(pull request) 수락 및 검토 노력과 같은 결과를 통해 이러한 기여를 주로 병합 전 단계에서 평가해 왔다. 그러나 에이전틱 코드가 병합 후 어떻게 되는지에 대해서는 알려진 바가 훨씬 적다. 병합 성공 여부만으로는 해당 기여가 안정적으로 유지될지, 아니면 하위 과정에서 버그 수정이나 기타 수정 유지보수가 필요할지를 알 수 없다. 우리는 182개의 저장소에서 에이전틱 기여와 인간 기여에 대한 종단적 실증 분석을 수행하여, 시간에 따른 병합 후 운명을 추적하고, 후속 수정의 의도를 분석하며, 이들이 도입하는 결함과 취약점을 조사했다. 전체 유지보수 비율은 유사하지만, 에이전틱 기여는 수정 유지보수 비율이 유의하게 높고 보안 취약점 및 의존성 취약점을 더 많이 도입하는 것으로 나타났다. 또한 에이전틱 유지보수 부담이 저장소 특성과 통계적으로 유의하게 연관된다는 증거를 발견했다. 특히, 프로젝트의 무검토 비율(no-review rate)이 10퍼센트포인트 증가할 때마다 평균적으로 에이전틱 유지보수 부담이 약 6% 증가하는 것과 관련된다. 코딩 에이전트가 소프트웨어 개발에 널리 보급됨에 따라, 우리의 연구 결과는 에이전틱 도구를 단순히 병합 가능한 변경사항을 생성하는 데 그치지 않고, 안전하고 유지보수 가능한 기여를 생성하도록 평가하고 설계해야 할 필요성을 강조한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.