JAMER: 전문 게임 엔진 기반의 프로젝트 수준 코드 프레임워크 데이터셋 및 벤치마크
JAMER: Project-Level Code Framework Dataset and Benchmark on Professional Game Engines
현재 AI 기반 게임 개발은 에셋 생성, 게임플레이 설계, 웹 기반 게임 코딩에서 상당한 진전을 이루었으나, 전문 게임 엔진에서의 프로젝트 수준 코드 엔지니어링은 대규모 데이터셋과 결정론적 평가 방법의 부재로 인해 대부분 미개척 상태로 남아 있습니다. 우리는 전문 게임 엔진을 기반으로 구축된 최초의 프로젝트 수준 게임 코드 프레임워크 데이터셋과 벤치마크인 JamSet과 JamBench를 소개합니다. 우리의 핵심 통찰은 개발자들이 빠듯한 시간 제약 하에 완전한 게임을 구축하는 커뮤니티 이벤트인 게임 잼 대회가 이 목적에 적합한 수천 개의 오픈 소스 프로젝트를 제공한다는 것입니다. 고도트 엔진의 텍스트 기반 형식과 헤드리스 실행 모드를 활용하여, 우리는 파일 무결성부터 런타임 동작 수집까지 이어지는 결정론적 검증 파이프라인을 설계하고, 240,000개 이상의 저장소에서 8,133개의 검증된 프로젝트를 추출했습니다. 이 중 300개의 수동으로 검증된 프로젝트는 JamBench를 구성하고, 나머지는 JamSet을 구성합니다. JamBench는 테마 기반 생성 및 코드 완성 작업을 정의하며, 컴파일 통과율, 구조적 완전성 점수(SCS), 행동 정렬 점수(BAS)를 결합한 파이프라인을 통해 평가됩니다. 9개의 최첨단 모델에 대한 평가 결과, 프로젝트 규모가 증가함에 따라 능력 절벽이 나타나며, 작은 프로젝트에서의 런타임 통과율은 80.4%에서 큰 프로젝트에서는 5.7%로 떨어지는 것으로 나타났습니다(Task2a). 코드 에이전트는 컴파일율을 개선하지만 런타임 행동 품질에서는 향상을 가져오지 못하여, 병목 현상이 구문적 정확성보다는 아키텍처 설계에 있음을 시사합니다. 실험 결과 JamSet이 효과적인 학습 데이터임을 검증했습니다. 모든 데이터와 코드는 공개되어 있습니다.