arXiv:2203.14487

Enhancing Neural Mathematical Reasoning by Abductive Combination with Symbolic Library

Yangyang Hu, Yang Yu

제출 2022-03-28

원문 초록

Mathematical reasoning recently has been shown as a hard challenge for neural systems. Abilities including expression translation, logical reasoning, and mathematics knowledge acquiring appear to be essential to overcome the challenge. This paper demonstrates that some abilities can be achieved through abductive combination with discrete systems that have been programmed with human knowledge. On a mathematical reasoning dataset, we adopt the recently proposed abductive learning framework, and propose the ABL-Sym algorithm that combines the Transformer neural models with a symbolic mathematics library. ABL-Sym shows 9.73% accuracy improvement on the interpolation tasks and 47.22% accuracy improvement on the extrapolation tasks, over the state-of-the-art approaches. Online demonstration: http://math.polixir.ai

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.17905v1cs.CL공통 태그 Translation, Logical Reasoning

ChLogic: 중국어 표현에서의 논리적 추론 강건성 평가

ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions

대규모 언어 모델(LLM)은 표준화된 논리적 추론 벤치마크에서 점차 더 좋은 성능을 보이지만, 영어 이외의 언어에서도 이 능력이 강건하게 유지되는지는 불분명합니다. 우리는 동일한 잠재적 논리 구조가 영어와 다양한 중국어 표면 실현(surface realizations)으로 표현될 때 모델이 논리적 추론 성능을 유지하는지 테스트하는 영어-중국어 정렬 벤치마크인 ChLogic을 소개합니다. 형식적 논리 템플릿으로 구축된 이 벤치마크는 세 가지 데이터셋을 포함합니다: (i) 9개의 템플릿 패밀리에 걸친 60개의 일반 명제(General Propositions)에서 파생된 General aligned set, (ii) 40개의 난제(Difficult Problems)에서 파생된 Difficult aligned set, (iii) 15개의 언어 특정 현상 유형을 다루는 Chinese-only set. 각 정렬된 항목은 하나의 영어 참조 표현과 다섯 개의 중국어 실현을 쌍으로 구성합니다. Qwen3, Ministral, GLM 모델에 대한 실험 결과, 지속적인 영어-중국어 성능 격차가 드러났습니다. 표준 중국어에서 영어로의 역번역(back-translation)은 General aligned set에서 성능을 향상시키는 경우가 많지만, Difficult aligned set에서는 혼재된 결과를 보이며, 여기서 Qwen3-32B와 GLM-5.1은 번역 후 성능이 저하되었습니다. 이러한 결과는 중국어 표면 실현, 번역 아티팩트(artifacts), 그리고 모델 특정 행동이 다국어 논리적 추론에 공동으로 영향을 미침을 시사합니다. 전반적으로, ChLogic은 다국어 추론의 강건성에 대한 유용한 스트레스 테스트를 제공합니다.

arXiv:2505.23851v3cs.CL공통 태그 Mathematical Reasoning공식 코드 · Papers with Code

ASyMOB: 대수적 기호 수학 연산 벤치마크

ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark

대규모 언어 모델(LLM)은 기호 수학(symbolic mathematics) 분야에 점점 더 많이 적용되고 있으나, 기존 평가 방식들은 패턴 암기와 진정한 추론(reasoning)을 혼동하는 경우가 많습니다. 이러한 격차를 해결하기 위해, 우리는 적분, 극한, 미분 방정식, 급수, 및 초기하 함수를 아우르는 검증된 35,368개의 기호 수학 문제로 구성된 고해상도 데이터셋인 ASyMOB를 제시합니다. 기존 벤치마크와 달리, ASyMOB는 기호적, 수치적, 그리고 동등성 보존 변환을 사용하여 각 시드 문제를 체계적으로 변형함으로써, 일반화 능력에 대한 정밀한 평가를 가능하게 합니다. 우리의 평가 결과 세 가지 주요 발견이 드러났습니다: (1) 대부분의 모델은 사소한 변형 하에서도 성능이 급격히 하락하는 반면, 상위 시스템들은 견고성(robustness)에서 명백한 레짐 변화(regime shift)를 보입니다; (2) 통합된 코드 도구는 성능을 안정화시키며, 특히 성능이 낮은 모델에서 그 효과가 두드러집니다; (3) 컴퓨터 대수 시스템(CAS)이 실패하고 LLM이 성공하는 사례와 하이브리드 LLM-CAS 접근 방식을 통해서만 해결되는 문제를 식별하여, 유망한 통합의 가능성을 강조했습니다. ASyMOB는 과학적 발견을 위한 검증 가능하고 신뢰할 수 있는 AI 구축의 진전을 측정하고 가속화하기 위한 원칙에 기반한 진단 도구로서 기능합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.