NL2AGBench: AlphaGeometry를 위한 대규모 언어 모델(LLM) 자동 정형화 벤치마크
NL2AGBench: Benchmarking LLM Auto-Formalization for AlphaGeometry
한국어 초록
최근 대규모 언어 모델(LLM)의 발전은 자연어 이해 및 수학적 추론에서 강력한 역량을 입증했습니다. 그러나 비정형적인 수학 문제를 정형화된 표현으로 변환하는 능력은 여전히 충분히 연구되지 않았습니다. 이러한 한계는 정리 증명 엔진이 특화된 도메인 특화 언어(DSL) 형태의 입력을 필요로 하는 AlphaGeometry와 같은 신경 기호(neuro-symbolic) 기하학 시스템에서 특히 중요합니다. AlphaGeometry는 국제수학올림피아드(IMO) 금메달리스트에 가까운 성능을 달성하지만, 자연어로 된 문제를 정형 구문으로 수작업 변환해야 한다는 점은 여전히 중대한 사용성 병목 현상으로 남아 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 영어 기하학 문제를 AlphaGeometry 호환 정형 표현으로 변환하는 LLM의 역량을 평가하는 NL2AGBench(Natural Language to AlphaGeometry Benchmark)를 소개합니다. NL2AGBench는 단순히 텍스트 유사도에 의존하는 대신 AlphaGeometry 내에서의 실행 기반 검증을 활용하여 변환 품질을 평가합니다. 본 연구는 다양한 매개변수 규모에 걸쳐 10개의 최첨단 오픈소스 및 상용(closed-source) LLM을 평가하고, 실행 가능한 변환 정확도, 구문적 정확성, 오류 특성을 분석합니다. 실험 결과, 상용 모델과 오픈소스 모델 간에 상당한 성능 격차가 있음이 드러났습니다. 선도적인 상용 모델은 80% 이상의 실행 가능한 변환율을 달성한 반면, 가장 큰 규모의 오픈소스 모델조차 기하학적 제약 조건을 일관되게 보존하고 유효한 정형화를 생성하는 데 어려움을 겪었습니다. 또한 구문 오류와 논리 오류를 구분하는 오류 분류 체계(taxonomy)를 도입하고, 퓨샷(few-shot) 프롬프팅, 미세조정(fine-tuning), 인간 유도 힌트 제공을 포함하여 여러 모델 제품군 전반에서 측정 가능한 개선을 가져오는 완화 전략을 조사합니다.
원문 초록
Recent advances in large language models (LLMs) have demonstrated strong capabilities in natural language understanding and mathematical reasoning. However, their ability to translate informal mathematical problems into formal representations remains underexplored. This limitation is particularly important for neuro-symbolic geometry systems such as AlphaGeometry, whose theorem-proving engine requires inputs in a specialized domain-specific language (DSL). Although AlphaGeometry achieves near-IMO gold-medalist performance, manually converting natural-language problems into its formal syntax remains a significant usability bottleneck. To address this challenge, we introduce the Natural Language to AlphaGeometry Benchmark (NL2AGBench), which evaluates LLMs in translating English geometry problems into AlphaGeometry-compatible formal representations. NL2AGBench uses execution-based verification within AlphaGeometry to assess translation quality rather than relying solely on textual similarity. We evaluate ten state-of-the-art open- and closed-source LLMs across multiple parameter scales and analyze executable translation accuracy, syntactic correctness, and error characteristics. Our experiments reveal a substantial performance gap between closed- and open-source models: leading closed-source models achieve executable translation rates above 80%, while even the largest open-source models struggle to consistently preserve geometric constraints and produce valid formalizations. We introduce an error taxonomy distinguishing syntax and logic errors and investigate mitigation strategies, including few-shot prompting, fine-tuning, and human-guided hinting, which yield measurable improvements across multiple model families.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.28481v2제출 시각 미확인
- arXiv:2608.28481v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.