대규모 언어 모델(LLM)의 수학적 추론 강건성에 대한 조사: 고급 수학 문제의 수학적으로 동등한 변환을 이용한 벤치마킹
An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems
최첨단 대규모 언어 모델(LLM)은 이제 표준 수학적 추론 벤치마크에서 거의 최고 수준의 정확도에 도달했으며, 국제수학올림피아드(IMO)에서 금메달 수준의 성능을 보이고 있다. 이러한 벤치마크가 포화 상태에 이르고 그 문제들이 학습 데이터로 유출됨에 따라, 높은 점수는 더 이상 모델이 강건하게 추론하는지, 또는 추론의 어떤 구성 요소에서 실패하는지를 보여주지 못한다. 결과의 정보성과 실패의 진단 가능성을 유지하면서 추론을 평가하기 위해, 우리는 GAP(Generalisation-and-Perturbation)을 제안한다. 이는 두 가지 서로 분리되고 해석 가능한 변환을 사용하여 기존 수학 문제의 수학적으로 동등한 변형을 대규모로 자동 생성하는 방법론이다: (1) 표면적 이름 변경(surface rename)으로, 식별자와 잠재 변수 역할 간의 결합을 탐색하고, (2) 커널 재작성(kernel rewrite)으로, 상위 수준의 증명 계획이 수학적 설정의 변화 속에서도 유지되는지를 탐색한다. 기존 벤치마크와 비교했을 때, GAP은 두 가지 핵심적인 이점을 가진다: (1) 새롭고 모델이 접하지 않았을 가능성이 높은 변형들이 데이터 유출을 완화하며, (2) 변환 유형별 성능을 통해 실패를 진단할 수 있는데, 각 변환은 실패 원인에 대한 하나의 가설을 검증한다. 우리는 1938년부터 2024년까지의 William Lowell Putnam Competition 문제 전체 1,051개에 GAP을 적용하고, 이전에 접한 적 없는 변형 5,255개를 추가하여 PutnamGAP을 구성했다. PutnamGAP은 6,306개 문항으로 이루어진 대회 수준의 수학 코퍼스이며, Putnam 전체 아카이브에서 최초로 공개된 기계 판독 가능한 데이터셋이다. PutnamGAP을 사용하여 우리는 다양한 규모와 제공사에 걸친 상업용 및 오픈소스 모델 18개를 평가했다. 정확도는 모든 모델과 변형 유형에서 하락했으며, 커널 재작성에서 가장 심각하게 하락했다. 이러한 격차는 모델의 성능이 강해져도 좁혀지지 않으며, 이는 가장 강력한 모델들조차 주된 약점이 표면적 변화를 처리하는 것이 아니라 변경된 수학적 설정으로 증명 계획을 전이하는 데 있음을 시사한다. 추가 분석은 더 세밀한 실패 진단과 LLM 추론을 개선하는 데 유용할 수 있는 통찰을 제공한다.