Project Euler에서의 인간 대 기계 수학적 난이도: 실험 분석
Human vs Machine Mathematical Difficulty on Project Euler: An Experimental Analysis
계산 수학 문제 온라인 플랫폼인 Project Euler의 문제에서, 인간 난이도에 따라 최첨단 AI 시스템의 노력과 성공 확률이 어떻게 스케일링되는지 연구한다. MathArena 벤치마크의 데이터셋은 50개 문제와 26개 모델 구성에 걸친 3840회 시도로 구성되며, 문제 난이도는 해당 사이트의 공개 인간 풀이 시간으로 측정한다. Timothy Gowers의 제안에 영감을 받아, 성공한 답변당 생성 토큰 비용과 인간 시간 사이의 멱법칙 관계 $t_{\text{machine}} = a \cdot t_{\text{human}}^b$를 검증하고, 사용 가능한 적합을 갖는 25개 모델 중 20개(가장 강력한 기본 모델 포함)에서 $b < 1$을 발견한다. 따라서 이 조작화는 기계가 난이도에 따라 인간보다 더 나쁘게 스케일링된다는 이전 예측을 뒷받침하지 않는다. 또한 검증된 문제에서의 성공 확률이 단순 지수 감쇠 $p_{\text{success}} = e^{c t_{\text{human}}}$로 모델링될 수 있는지, 즉 $\log p_{\text{success}}$와 $t_{\text{human}}$ 사이의 선형 관계를 예측하는지 조사한다. 데이터 집계를 위해 구간화(binning) 접근법을 사용한 결과, 이 모델에 대한 중간 수준의 실증적 뒷받침(22개 최고 커버리지 구성에서 bin 수준 중앙값 $R^2 = 0.92$)을 확인한다. METR를 따라 로지스틱 성공 곡선도 적합하고 50\% 작업 길이 수평선 $h_{50}$을 추출한다. 2026년 4월 20일 스냅샷에서 가장 강력한 구성은 가장 빠른 다섯 명 인간 기준선에서 대략 $2.5$--$4.3$시간에 도달하며, 최첨단(state-of-the-art) 프론티어를 통과하는 log-linear 적합은 SOTA $h_{50}$에 대해 약 75일의 기술적 배가 시간을 제공한다.