본 논문에서는 2D 및 3D의 13개 게임플레이 카테고리에 걸친 41개의 실행 가능한 레퍼런스 Godot 게임을 기반으로 한 247개 태스크 벤치마크인 SWE-Game을 소개합니다. 5가지 태스크 유형은 개요(brief)로부터의 개발, 게임 디자인 문서(GDD) 기반 구현, 스켈레톤 완성, 83개의 주입된 결함 사례 복구, Godot에서 Unity로의 포팅을 다룹니다. 레퍼런스 자료는 의도된 게임플레이를 명시하며, 공유된 인스트루멘테이션 인터페이스를 통해 평가자 소유의 드라이버와 프로브가 액션을 실행하고 독립적으로 구현된 게임을 관찰할 수 있습니다. 평가는 엔진 상태 점검, 검증된 레퍼런스 입력 리플레이, 에이전트가 작성한 특징(feature) 시연을 결합하여 메커닉의 정확성, 입증된 플레이 가능성, 그리고 복구 후 행동의 복원 및 보존을 평가합니다. 게임별 비전-언어(vision-language) 루브릭은 프레젠테이션을 별도로 평가합니다. 6개 모델 전반에서 Opus5가 5가지 태스크 유형 모두에서 가장 높은 종합 점수를 기록했습니다. 3가지 제작 태스크 전반에서 최고 종합 점수는 100점 만점 중 60점 미만에 머물렀으며, Brief-to-Game은 50.38점에 도달했습니다. 검토된 제출물 분석 결과, 요구사항 누락과 게임플레이 로직 오류가 주요 구현 문제인 것으로 나타났습니다. 에이전트가 제작한 100개 게임의 인간 라벨링 행동에 대해, 실행 가능한 점검은 비디오 기반 VLM 판별기의 78.41%에 비해 92.59%의 균형 정확도(balanced accuracy)를 달성했습니다. 루브릭 기반 시각 점수는 200개 게임플레이 클립에 대한 인간 평가와 0.829의 스피어만 상관계수에 도달했습니다. 종합적으로 이러한 결과는 게임 개발 활동 전반에 걸친 현재 에이전트 능력을 규명하며, 런타임 증거와 시각적 평가의 결합을 뒷받침합니다.
우리는 Roblox Studio 내에서 에이전틱(agentic) 게임 개발을 위한 벤치마크 및 평가 프레임워크인 OpenGameEval을 제시한다. 이 프레임워크는 언어 모델을 재현 가능하고 상태를 유지하는 게임 엔진 세션 내에서 에이전트로 실행하며, 편집된 장면(scene)과 시뮬레이션된 플레이 세션 양쪽에 대해 실행 가능한 검사(executable checks)를 통해 각 실행을 평가한다. 대부분의 에이전틱 코딩 벤치마크는 탐험을 요구하지만 최종 과제 성공 여부만을 평가한다. OpenGameEval은 8개의 도구로 구성된 행동 공간(action space)에서 관찰 도구와 편집 도구를 분리하여, 탐험을 직접 측정할 수 있도록 한다.
우리는 16회의 시도로 구성된, 사람이 직접 선별한 84개의 핵심 과제에 대해 13개의 최신(frontier) 모델의 통과율과 탐험 행동을 측정한다. 이 과제들은 현재 모델들에게 어려운 것으로 나타난다. 최고 성능 모델은 한 번의 시도로 과제의 51.7%를 해결하고, 다섯 번 모두 성공하는 비율은 39.4%이며, 테스트된 모델 중 6개 과제를 해결한 모델은 없었다. 최신 모델들은 서로 다른 과제를 해결함으로써 비슷한 통과율에 도달한다. 과제를 요구되는 작업 종류별로 나누어 보면, 스크립트 작성(script-authoring) 과제에서는 상위 5개 모델 간 격차가 5.0퍼센트포인트(pp)로 벌어지고, 장면 변경(scene-change) 과제에서는 12.5퍼센트포인트로 벌어진다.
탐험 행동은 실행의 성공 여부를 예측한다. 과제와 모델을 고정했을 때, 참조 솔루션이 다루는 모든 객체를 행동에 앞서 검사하는 실행은, 장면 전용(scene-only) 과제에서는 그중 아무것도 검사하지 않은 실행보다 13.4퍼센트포인트 더 높은 비율로 성공하며, 스크립트 전용(script-only) 과제에서는 9.8퍼센트포인트 더 높은 비율로 성공한다.
우리는 과제 모음(task suite)과 해당 place 파일, 과제별 주석(annotation), Roblox Studio 내에서 과제를 실행하는 플러그인, 그리고 업데이트된 리더보드를 MIT 라이선스로 https://github.com/Roblox/open-game-eval 에 공개한다.
게임 엔진에서 게임플레이 기능을 만드는 일은 코드만으로는 충분하지 않다. 컴파일되고 실행되는 코드가 반드시 요청된 게임플레이를 구현한다는 보장은 없기 때문이다. 우리는 CraftBench-UE를 소개한다. 이는 격리된 언리얼 엔진 환경에서 에이전트를 실행하고, 저장된 제출물을 새 프로젝트에서 재구성한 뒤 LLM 심사자 없이 결정론적인 빌드, 에셋, 런타임 검사를 적용하는 평가 하네스이다. 이 하네스를 바탕으로 C++ 소스, Blueprint 에셋, 에디터 스크립팅에 걸친 70개 과제로 구성된 벤치마크를 구축했다. 두 가지 에디터 도구 구성 하에서 일곱 개 모델을 평가하였으며, C++ 과제에는 파일-및-셸 기준선을 두었다. 또한 동일한 게임플레이를 명시하고 동일한 런타임 테스트를 사용하지만 산출물로 C++와 Blueprint를 각각 요구하는 과제들을 짝지었다. 10개의 짝지어진 과제 전체에서, 두 도구 구성에서 C++ 완료율이 Blueprint보다 각각 30.0 및 42.9퍼센트포인트 높다. 이 짝짓기 집합에서 에셋 검사를 통과한 시간 내 Blueprint 제출물 중 42.2%와 50.0%가 명시적 런타임 단언에서 실패한다. 이 제출물들은 에셋 요구사항은 만족하지만 필수 게임플레이 테스트에는 실패한다. 보고서와 함께 하네스, 과제 벤치마크, 궤적 분석 결과를 공개할 예정이다.
대규모 언어 모델(LLM)은 게임 씬을 위한 Unity C#을 작성한다. 그러나 거의 모든 데모는 코드가 컴파일될 때까지 재생성하는 반복 수정 루프에 의존하며, 이는 모델이 작성한 결과와 루프가 수정한 결과를 혼동하게 만든다. 우리는 루프를 제거하고 첫 번째 초안이 최종본인 단일 패스를 평가한다. 이는 모델의 파라메트릭 지식을 고립시키며, 비보조 생성에 대한 가장 엄격한 테스트다. 모델들은 목표 패턴의 플레이어블 대응 개념인 Goal Playable Concepts를 총 10,400회(오픈 웨이트 모델 4개, 7B--30B; 생성 모드 2가지; 중간 표현(IR) 컨디셔닝 레벨 4단계; 목표 패턴 26개; 시드 20개)에 걸쳐 인스턴스화한다. 어떤 것도 실행 가능한 씬으로 컴파일되지 않아 생존 바이어스가 전혀 없다. 생성된 C# 스크립트가 어떻게 실패하는지 이해하기 위해, 90,673건의 컴파일러 오류 발생 사례 뒤에 있는 99개의 오류 코드를 그라운딩(발명되었거나 잘못 사용된 Unity 타입 및 API) 또는 위생(Unity 지식 없이도 식별 가능한 구조적 결함)으로 분류한다. 이 분포는 목표 패턴에 따라 뚜렷이 다르다(예: Stealth는 주로 존재하지 않는 엔진 참조에서, Capture는 순수 C# 구조에서 실패). 더 큰 모델, 더 엄격한 IR, 다른 생성 모드는 오류의 양상을 변화시키지만 컴파일 가능한 씬을 산출하지 못한다. 병목은 누락된 엔진 특화 지식이다. 이 분류는 해당 요구 수준에 따라 목표 패턴의 순서를 제시하며, 설계자에게 단일 패스 생성이 어디서 한계를 드러내는지 보여준다.
Despite rapid progress on coding agents, progress on their multimodal counterparts has lagged behind. A key challenge is the scarcity of evaluation testbeds that combine the complexity of software development with the need for deep multimodal understanding. In game development, agents must navigate large, dense codebases while manipulating intrinsically multimodal assets such as shaders, sprites, and animations within a visual game scene. We present GameDevBench, the first benchmark for evaluating agents on game development tasks. GameDevBench consists of 333 tasks derived from web and video tutorials. Tasks require significant multimodal understanding and are complex: the average solution requires over three times the lines of code and file changes compared to prior software development benchmarks. Agents struggle with game development, with the best agent and method solving only 53.8% of tasks. We find a strong correlation between perceived task difficulty and multimodal complexity, with average success rate dropping from 51.4% on gameplay-oriented tasks to 33.0% on 2D graphics tasks. To improve multimodal capability, we introduce two simple image- and video-based feedback mechanisms for agents. Despite their simplicity, these methods consistently improve performance, increasing GPT-5.4's performance from 41.1% to 52.0% when given visual feedback.
현재 AI 기반 게임 개발은 에셋 생성, 게임플레이 설계, 웹 기반 게임 코딩에서 상당한 진전을 이루었으나, 전문 게임 엔진에서의 프로젝트 수준 코드 엔지니어링은 대규모 데이터셋과 결정론적 평가 방법의 부재로 인해 대부분 미개척 상태로 남아 있습니다. 우리는 전문 게임 엔진을 기반으로 구축된 최초의 프로젝트 수준 게임 코드 프레임워크 데이터셋과 벤치마크인 JamSet과 JamBench를 소개합니다. 우리의 핵심 통찰은 개발자들이 빠듯한 시간 제약 하에 완전한 게임을 구축하는 커뮤니티 이벤트인 게임 잼 대회가 이 목적에 적합한 수천 개의 오픈 소스 프로젝트를 제공한다는 것입니다. 고도트 엔진의 텍스트 기반 형식과 헤드리스 실행 모드를 활용하여, 우리는 파일 무결성부터 런타임 동작 수집까지 이어지는 결정론적 검증 파이프라인을 설계하고, 240,000개 이상의 저장소에서 8,133개의 검증된 프로젝트를 추출했습니다. 이 중 300개의 수동으로 검증된 프로젝트는 JamBench를 구성하고, 나머지는 JamSet을 구성합니다. JamBench는 테마 기반 생성 및 코드 완성 작업을 정의하며, 컴파일 통과율, 구조적 완전성 점수(SCS), 행동 정렬 점수(BAS)를 결합한 파이프라인을 통해 평가됩니다. 9개의 최첨단 모델에 대한 평가 결과, 프로젝트 규모가 증가함에 따라 능력 절벽이 나타나며, 작은 프로젝트에서의 런타임 통과율은 80.4%에서 큰 프로젝트에서는 5.7%로 떨어지는 것으로 나타났습니다(Task2a). 코드 에이전트는 컴파일율을 개선하지만 런타임 행동 품질에서는 향상을 가져오지 못하여, 병목 현상이 구문적 정확성보다는 아키텍처 설계에 있음을 시사합니다. 실험 결과 JamSet이 효과적인 학습 데이터임을 검증했습니다. 모든 데이터와 코드는 공개되어 있습니다.