LLM의 수학적 능력 평가를 위해서는 수학적 창의성의 다양한 메커니즘을 이해해야 한다
Assessing LLMs' mathematical abilities requires understanding the various mechanisms of mathematical creativity
한국어 초록
대규모 언어 모델(LLM)이 수학적 발명을 수행할 수 있는지 어떻게 평가해야 할까? 이 질문은 현재 아직 충분히 규정되지 않았다고 주장한다. 수학적 창의성은 하나의 능력이 아니라, 의미 생성(meaning-making)의 여러 메커니즘적으로 구분되는 양식—수학적 실천에 대한 반성적 내성, 과학에서의 유추적 도입, 문제 주도적 구성, 멀리 떨어진 영역을 잇는 다리 놓기—과 더불어, 관찰된 패턴 때문에 추구되는 의미와 전략적으로 원하기 때문에 추구되는 의미 사이의 가로지르는(additional cross-cutting) 구분, 후자는 추측 형성(conjecture-formation) 사례를 통해 전개한다. 이러한 메커니즘은 대체 가능하지 않을 가능성이 커서, 한 가지에서의 역량이 다른 것으로 이전되지 않는다. 각각을 역사적 사례 연구와 현재 트랜스포머 기반 시스템에 대한 아키텍처 수준 설명에 근거하여, 오늘날 모델은 기존 구성 요소에 대한 재조합과 탐색으로 형성된 양식에 역량을 집중한다고 제안한다. 그 설명이 맞다면, 남은 양식들은 단지 더 느린 것이 아니라 원칙적으로 도달 불가능하다—다만 그 설명이 맞는지는 그 자체가 열린 실증적 부분이다. AI가 증명 생성을 더 잘하게 되면서 증명이 더 저렴해지고 있는데—이 전환은 분야의 선도적 목소리들이 지금 진단하고 있는 변화—수학적 가치는 현재 시스템이 아직 수행하지 못하는 양식 쪽으로 이동하고 있으며, AI 수학 능력 평가는 이를 혼동하는 총괄 벤치마크가 아니라 이 분류체계를 중심으로 조직되어야 한다.
원문 초록
How should we assess whether large language models can perform mathematical invention? I argue that this question is currently underspecified: mathematical creativity is not one capacity but several mechanistically distinct modes of meaning-making - reflexive introspection on mathematical practice, analogical import from the sciences, problem-driven construction, and the bridging of distant domains - together with a further, cross-cutting distinction between meaning pursued because a pattern was observed and meaning pursued because it is strategically wanted, a distinction I develop through the case of conjecture-formation. These mechanisms are likely non-substitutable, so that competence in one does not transfer to the others. Grounding each in a historical case study and in an architecture-level account of current transformer-based systems, I suggest that today's models concentrate their competence in modes shaped by recombination and search over existing building blocks; if that description holds, the remaining modes are out of reach in principle, not just slower - though whether it holds is itself the open, empirical part. Because proof is getting cheaper as AI improves at generating it - a shift the field's own leading voices are now diagnosing - mathematical value is migrating toward the modes current systems cannot yet perform, and evaluations of AI mathematical ability should be organized around this taxonomy rather than around aggregate benchmarks that conflate it.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.16118v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.