GameReplica: 비전-언어 에이전트를 위한 블랙박스 시각적 게임 복제 벤치마크
GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents
코딩 에이전트 벤치마크는 통상 명시적 사양으로부터의 구현을 평가하므로, 규칙이 문서화되어 있지 않고 상호작용을 통해서만 접근 가능한 시스템을 에이전트가 발견하고 재현할 수 있는지는 열려 있는 문제로 남아 있다. 본 연구는 관측 가능한 행동과 결과를 가진 통제된 환경을 제공하는 웹 게임에서 이 능력을 연구하며, 종단 간 블랙박스 게임 복제를 위한 벤치마크 GameReplica를 소개한다. 이 벤치마크는 25개 웹 게임과 다섯 가지 핵심 메커니즘 계열에 걸친 125개 인스턴스로 구성되며, 각 게임은 다섯 가지 난이도로 구현된다. 컨테이너 격리 하에서 에이전트는 행동–스크린샷 인터페이스를 통해서만 대상 게임에 접근하고, 게임 탐색, 복제본 구현, 검증을 반복할 수 있으며, 자체 완결적으로 실행 가능한 복제본과 규칙 체크리스트를 제출한다. 이후 참조 기반 평가가 산출물을 규칙 일관성, 구현 일관성, 시각적 충실도에 대해 별도로 채점한다. 여섯 모델과 다섯 에이전트 런타임에 걸친 실험은 블랙박스 복제가 여전히 어렵다는 점을 보여 준다. Claude Opus 4.8이 71.6%로 가장 높은 Overall 점수를 달성하였고, 다른 모델들은 4.0%~43.0%를 얻었다. 모든 모델이 시각적 충실도에서 가장 높고 규칙 일관성에서 가장 낮은 점수를 받았으며, 이는 외형을 재현하는 것이 메커니즘을 복원하는 것보다 쉽다는 점을 시사한다. 난이도는 격차를 벌린다. L1에서 L5로 갈수록 하위 네 모델은 Overall 점수가 상대적으로 33%~63% 감소한 반면, 가장 강한 모델은 5% 미만 감소하였다. 평가된 구성에서 결과는 에이전트 런타임 간보다 모델 간에 더 크게 달랐으며, 약한 모델의 귀속된 실패 대부분은 복제본 코드를 작성하기 전의 탐색 단계에서 발생하였다. 자료와 대화형 데모는 https://qqqqqqby.github.io/GameReplica/ 에서 제공된다.