LLM 기반 에이전트(agent)의 전략적 의사결정을 평가하려면 생성적이고 경쟁적이며 종단적인 환경이 필요하지만, 이 세 가지를 모두 제공하는 벤치마크(benchmark)는 거의 없으며 장기적(long-horizon) 다중 에이전트 플레이에 충분할 만큼 풍부한 평가 신호를 제공하는 벤치마크는 더욱 드뭅니다. 본 논문에서는 멀티플레이어 문명 V(Civilization V)에서 LLM 전략가(에이전틱 설정 하의 모델)를 평가하기 위한 벤치마크인 CivBench를 소개합니다. 수백 턴과 다수의 상대를 아우르는 게임에서는 최종 승패(terminal win/loss) 신호가 너무 희소(sparse)하기 때문에, CivBench는 게임 상태가 주어졌을 때 플레이어가 궁극적으로 승리할 확률인 상태-가치 함수(state-value function)의 추정기를 학습(training)합니다. 7개의 LLM과 다양한 CivBench 에이전트 조건을 바탕으로 한 307회의 게임 전반에 걸쳐, 우리는 미포화 벤치마크로서 문명 V 내 전략적 역량을 추정하고, 에이전틱 설정이 모델(model)에 미치는 고유한 영향을 밝혀내며, 결과만을 평가했을 때는 보이지 않던 뚜렷한 전략적 프로파일을 개략적으로 보여주는 CivBench의 잠재력을 입증합니다.
대규모 언어 모델(LLM) 기반 게임 에이전트는 종종 더 복잡한 과제에서 낮은 성능을 보인다. 본 연구는 이러한 실패가 제한된 공간적 추론과 연관되는지 검토하고, 인과적 프롬프트 증강과 다단계 계획이 응답 지연(latency)을 관리하면서 승률을 개선할 수 있는지 평가한다. 오픈소스 Qwen3 모델 계열을 사용하여 다양한 모델 규모, 추론 모드, 계획 지평(planning horizon)에 걸쳐 실험을 수행한다. 또한 공간 내비게이션을 분리하기 위해 5개 난이도 수준을 갖춘 3개의 맞춤형 게임으로 구성된 집중형 GVGAI 벤치마크를 도입한다. 평가는 두 가지 패러다임을 따른다: 에이전트가 정확한 좌표를 찾는 능력을 시험하는 초기 ``위치 지정 실험(positioning experiment)''과 게임 플레이 성공에 대한 연구. 결과는 사고(thinking) 모드가 활성화된 더 큰 모델이 자신의 위치를 더 정확하게 식별하지만, 좌표 일치에서의 전반적인 성능은 더 작은 모델에서 여전히 제한적임을 보여준다. 승률은 게임 레벨과 레이아웃 복잡도가 증가함에 따라 감소하며, 이는 벤치마크의 난이도 스케일링을 검증한다. 프롬프트에 인과적 컨텍스트를 통합하면 에이전트의 성공률이 향상되는 경향이 있으며, 특히 더 큰 모델에서 그렇다. 사고 모드와 더 긴 계획 지평을 활성화하면 성능이 크게 향상되지만, 다단계 계획은 평균 단계당 응답 시간을 추가로 줄여 추론 깊이와 실행 속도 사이의 실용적인 절충을 제공한다.