CivBench: 문명 V(Civilization V)에서 LLM의 전략적 의사결정을 위한 진행 기반 평가
CivBench: Progress-Based Evaluation for LLMs' Strategic Decision-Making in Civilization V
LLM 기반 에이전트(agent)의 전략적 의사결정을 평가하려면 생성적이고 경쟁적이며 종단적인 환경이 필요하지만, 이 세 가지를 모두 제공하는 벤치마크(benchmark)는 거의 없으며 장기적(long-horizon) 다중 에이전트 플레이에 충분할 만큼 풍부한 평가 신호를 제공하는 벤치마크는 더욱 드뭅니다. 본 논문에서는 멀티플레이어 문명 V(Civilization V)에서 LLM 전략가(에이전틱 설정 하의 모델)를 평가하기 위한 벤치마크인 CivBench를 소개합니다. 수백 턴과 다수의 상대를 아우르는 게임에서는 최종 승패(terminal win/loss) 신호가 너무 희소(sparse)하기 때문에, CivBench는 게임 상태가 주어졌을 때 플레이어가 궁극적으로 승리할 확률인 상태-가치 함수(state-value function)의 추정기를 학습(training)합니다. 7개의 LLM과 다양한 CivBench 에이전트 조건을 바탕으로 한 307회의 게임 전반에 걸쳐, 우리는 미포화 벤치마크로서 문명 V 내 전략적 역량을 추정하고, 에이전틱 설정이 모델(model)에 미치는 고유한 영향을 밝혀내며, 결과만을 평가했을 때는 보이지 않던 뚜렷한 전략적 프로파일을 개략적으로 보여주는 CivBench의 잠재력을 입증합니다.