끝없는 시험: 초지능을 향한 오늘날 모델들의 수학적 구성
The Endless Exam: Mathematical Constructions from Today's Models toward Superintelligence
우리는 14개의 매개변수화된 구성 계열(construction family)을 통해 오늘날의 모델들이 인공 초지능(artificial superintelligence)을 향해 보이는 수학적 진전을 측정하는 벤치마크인 Endless Exam을 소개한다. 제출된 각 객체는 유효성이 자동으로 검증되며, 개선치를 $1$로 상한을 두지 않은 채 공개된 프런티어 또는 구성 기준선 대비 상대적 품질 점수가 부여된다. 각 계열은 장기적 목표를 위해 미해결 수학 문제들을 활용하며, 더 큰 매개변수에서 새로운 인스턴스를 생성하는데, 이때 간결한 증명서(compact certificate)를 통해 대규모 구성도 검증 가능하도록 유지된다. 69개의 서로 다른 인스턴스에 대해 평가된 8개 모델 전반에서, 평가된 어떤 시스템도 공개된 프런티어를 넘어서지 못했음에도 연속적인 품질 점수는 성능을 변별해낸다. 크기-품질 곡선(size-quality curve)은 문제 크기가 커짐에 따라 구성 품질이 어떻게 변화하는지를 보여준다. 우리는 인간의 프런티어 이전과 이후 모두에서 지속적인 측정을 지원하기 위해 생성기, 검증기, 참조 자료, 모델 응답 및 분석 결과를 공개한다.