arXiv:2601.16823v4 cs.CL

체스를 이용한 대규모 언어 모델의 일반화와 암기의 분리

Disentangling generalization and memorization in large language models using chess

Leonard S. Pleiss, Maximilian Schiffer, Robert K. von Weizsaecker

제출 2026-11-19

한국어 초록

대규모 언어 모델(LLM)은 놀라운 능력을 보이지만, 이것이 정교한 기억 회상을 반영하는지 진정한 추론 능력을 반영하는지는 여전히 불분명하다. 본 논문은 이러한 능력을 분리하기 위한 통제된 실험 환경으로 체스를 도입한다. 게임의 구조와 확장 가능한 엔진 평가를 활용하여, 관련 사전 지식의 밀도에 따라 달라지는 국면의 분류 체계를 구성한다. 이는 암기로 해결할 수 있는 흔한 상태부터 일반화가 필요한 완전히 새로운 상태까지 아우른다. 중요한 점은 이 접근법이 모델의 학습 데이터에 대한 명시적 지식 없이도 이러한 구분을 달성한다는 것이다. 이 분류 체계를 적용하여 GPT 계열에 대한 종단적 분석과 Claude Opus 및 Gemini를 포함한 최신 모델들에 대한 엄밀한 평가를 결합한다. 분석 결과 가파른 기울기가 드러난다. 관련 사전 지식의 밀도가 낮아질수록 성능이 일관되게 저하된다. 특히 관련 사전 지식이 적은 과제에서는 기본 모델의 성능이 무작위 플레이 기준선 수준으로 후퇴하고, 모든 모델이 불법 수를 제시하는 비율이 급격히 증가하여, 낯선 국면에서 게임의 고정된 규칙을 안정적으로 적용하지 못함을 시사한다. 더 새로운 모델은 개선되지만, 사전 지식이 희소한 과제에서는 진전이 크게 둔화된다. 또한 추론 증강 추론(reasoning-augmented inference)은 성능을 향상시키지만, 관련 사전 지식이 없을 때는 토큰당 상대적 한계 이득이 감소한다. 이러한 결과는 체계적 일반화의 한계를 시사하며, 관련 사전 지식이 없는 상황에서 견고한 성능을 달성하기 위해서는 규모를 넘어서는 메커니즘이 필요함을 강조한다.

원문 초록

Large Language Models (LLMs) exhibit remarkable capabilities, yet it remains unclear to what extent these reflect sophisticated recall or genuine reasoning ability. We introduce chess as a controlled testbed aimed at disentangling these faculties. Leveraging the game's structure and scalable engine evaluations, we construct a taxonomy of positions varying in density of relevant priors -- ranging from common states solvable by memorization to completely novel ones requiring generalization. Crucially, our approach achieves this distinction without requiring explicit knowledge of the models' training data. Applying this taxonomy, we combine a longitudinal analysis of the GPT lineage with a rigorous evaluation of contemporary models, including Claude Opus and Gemini. Our analysis reveals a steep gradient: performance consistently degrades as the density of relevant priors decreases. Notably, for tasks with few relevant priors, base model performance regresses to the random-play baseline, and all models propose illegal moves at sharply increasing rates, indicating that they fail to reliably apply the fixed rules of the game in unfamiliar positions. While newer models improve, progress slows significantly for tasks with sparse priors. Furthermore, while reasoning-augmented inference improves performance, its relative marginal benefit per token decreases in the absence of relevant priors. These results suggest limitations in systematic generalization, highlighting the need for mechanisms beyond scale to achieve robust performance when deprived of relevant priors.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2601.16823v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.