PuzzleJAX: 추론 및 학습을 위한 벤치마크
PuzzleJAX: A Benchmark for Reasoning and Learning
본 논문에서는 트리 탐색, 강화학습(RL), 대규모 언어 모델(LLM)의 추론 능력을 빠르게 벤치마킹할 수 있도록 설계된 GPU 가속 퍼즐 게임 엔진이자 기술 언어인 PuzzleJAX를 소개합니다. 고정된 게임 세트의 하드코딩된 구현만을 제공하는 기존 GPU 가속 학습 환경과 달리, PuzzleJAX는 도메인 특화 언어(DSL)로 표현 가능한 모든 게임의 동적 컴파일을 지원합니다. 이 DSL은 퍼즐 게임을 설계하는 데 널리 쓰이고 접근성이 뛰어난 온라인 게임 엔진인 PuzzleScript를 따릅니다. 본 논문에서는 2013년 출시 이후 전문 디자이너와 일반 제작자가 PuzzleScript로 설계한 수천 개의 게임 중 수백 개를 PuzzleJAX에서 검증함으로써, 광범위하고 표현력이 뛰어나며 인간에게 유의미한 작업 공간에 대한 PuzzleJAX의 커버리지를 입증합니다. 이러한 게임들에 대한 탐색, 학습 및 언어 모델의 성능을 분석함으로써, PuzzleJAX가 이해하기 단순하고 직관적이면서도 제어, 계획, 고차원적 통찰의 조합을 요구하여 숙달하기에는 매우 까다로운 작업들을 자연스럽게 표현할 수 있음을 보여줍니다.