CraftBench-UE: 언리얼 엔진에서 코딩 에이전트를 위한 결정론적 평가
CraftBench-UE: Deterministic Evaluation for Coding Agents in Unreal Engine
게임 엔진에서 게임플레이 기능을 만드는 일은 코드만으로는 충분하지 않다. 컴파일되고 실행되는 코드가 반드시 요청된 게임플레이를 구현한다는 보장은 없기 때문이다. 우리는 CraftBench-UE를 소개한다. 이는 격리된 언리얼 엔진 환경에서 에이전트를 실행하고, 저장된 제출물을 새 프로젝트에서 재구성한 뒤 LLM 심사자 없이 결정론적인 빌드, 에셋, 런타임 검사를 적용하는 평가 하네스이다. 이 하네스를 바탕으로 C++ 소스, Blueprint 에셋, 에디터 스크립팅에 걸친 70개 과제로 구성된 벤치마크를 구축했다. 두 가지 에디터 도구 구성 하에서 일곱 개 모델을 평가하였으며, C++ 과제에는 파일-및-셸 기준선을 두었다. 또한 동일한 게임플레이를 명시하고 동일한 런타임 테스트를 사용하지만 산출물로 C++와 Blueprint를 각각 요구하는 과제들을 짝지었다. 10개의 짝지어진 과제 전체에서, 두 도구 구성에서 C++ 완료율이 Blueprint보다 각각 30.0 및 42.9퍼센트포인트 높다. 이 짝짓기 집합에서 에셋 검사를 통과한 시간 내 Blueprint 제출물 중 42.2%와 50.0%가 명시적 런타임 단언에서 실패한다. 이 제출물들은 에셋 요구사항은 만족하지만 필수 게임플레이 테스트에는 실패한다. 보고서와 함께 하네스, 과제 벤치마크, 궤적 분석 결과를 공개할 예정이다.