arXiv:2611.24073v1 cs.AI

3D GameDev Arena: 극단적 장기 지평 브라우저 게임을 계획하고 구축하며 플레이테스트하는 코딩 에이전트의 벤치마킹

3D GameDev Arena: Benchmarking Coding Agents That Plan, Build, and Playtest extreme Long-Horizon Browser Games

Bizhe Bai, Jiliang Jian, Yuqing Yan, Tao Chen, Ying Wen

제출 2026-11-19

한국어 초록

코딩 에이전트는 이제 저장소 이슈를 해결하고 소규모의 플레이 가능한 게임을 생성하지만, 대규모 3D 게임을 처음부터 구축할 수 있는지는 아직 열려 있는 문제이다. 이러한 게임은 메커니즘, 장면, 에셋, 상호작용 로직이 긴밀하게 결합되어 있고, 그 품질은 기존 벤치마크가 거의 평가하지 않는 플레이어의 즐거움에 달려 있다. 이에 본 연구는 14개 장르에 걸친 108개의 처음부터 시작하는 게임 개발 과제로 구성된 최초의 극단적 장기 지평 벤치마크인 3D GameDev Arena를 소개한다. 텍스트 명세와 UI/UX 참조 이미지만 주어지면, 완전 자동화된 계획-구현-테스트-수정 파이프라인이 각 과제를 독립적으로 실행되는 브라우저 게임으로 구축한다. 실행당 평균 약 1,000회의 LLM 호출이 이루어지며, 가장 긴 실행은 14,407회의 호출, 21.3억 토큰, 608개의 에셋을 사용한다. 평가는 (1) 게임 명세에 대한 객관적인 코드 수준 기능 수락, (2) 3D 표현과 플레이 가능성에 대한 에이전트 기반 QA 및 플레이테스트, (3) 공개 아레나에서의 블라인드 쌍대 Bradley-Terry 인간 선호도로 구성된다. 예비 결과는 장기 지평 3D 게임 개발이 아직 해결과는 거리가 멀며, 코드 수준의 정확성만으로는 플레이어의 선호가 결정되지 않음을 보여 준다. 공개 아레나는 온라인으로 운영된다.

원문 초록

Coding agents now resolve repository issues and generate compact playable games, but whether they can build a large 3D game from scratch remains open. Such games tightly couple mechanics, scenes, assets, and interaction logic, and their quality rests on player enjoyment, which existing benchmarks rarely assess. Thus, we introduce 3D GameDev Arena, a first extreme long-horizon benchmark of 108 from-scratch game-development tasks across 14 genres. Given only a text specification and UI/UX reference images, a fully automated plan--implement--test--repair pipeline builds each task into a self-contained browser game. Runs average $\sim$1,000 LLM calls ; the longest uses 14,407 calls, 2.13B tokens, and 608 assets. Evaluation spans (1) objective code-level functional acceptance against the game specification, (2) agent-based QA and playtesting of 3D presentation and playability, and (3) blind pairwise Bradley-Terry human preference in a public arena. The preliminary findings indicate that long-horizon 3D game development remains far from solved, and code-level correctness alone does not dictate player preference. The public arena is hosted online.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24073v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.