Reliable Reasoning Beyond Natural Language
원문 초록
Despite their linguistic competence, Large Language models (LLMs) often exhibit limitations in their ability to reason reliably and flexibly. To address this, we propose a neurosymbolic approach that prompts LLMs to extract and encode all relevant information from a problem statement as logical code statements, and then use a logic programming language (Prolog) to conduct the iterative computations of explicit deductive reasoning. Our approach significantly enhances the performance of LLMs on the standard mathematical reasoning benchmark, GSM8k, and the Navigate dataset from the BIG-bench dataset. Additionally, we introduce a novel dataset, the Non-Linear Reasoning (NLR) dataset, consisting of 55 unique word problems that target the shortcomings of the next token prediction paradigm of LLMs and require complex non-linear reasoning but only basic arithmetic skills to solve. Our findings demonstrate that the integration of Prolog enables LLMs to achieve high performance on the NLR dataset, which even the most advanced language models (including GPT4) fail to solve using text only.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KisMATH: Do LLMs Have Knowledge of Implicit Structures in Mathematical Reasoning?
CoRE: Enhancing Metacognition with Label-free Self-evaluation in LRMs
Xolver: Multi-Agent Reasoning with Holistic Experience Learning Just Like an Olympiad Team
복잡한 추론 분야에서 눈에 띄는 발전에도 불구하고, 현재의 대형 언어 모델(LLM)은 일반적으로 독립적으로 작동하며, 각 문제를 별개의 시도로 처리하고 경험적 지식을 축적하거나 통합하지 않습니다. 반면, 올림피아드나 프로그래밍 대회 팀과 같은 전문가 문제 해결자는 코치로부터의 멘토링을 흡수하고, 과거 문제들로부터 직관을 개발하며, 도구 사용법과 라이브러리 기능에 대한 지식을 활용하고, 동료들의 전문성과 경험에 기반해 전략을 조정하며, 시행착오를 통해 추론을 지속적으로 개선하고, 대회 중에도 관련된 다른 문제들로부터 학습하는 등 풍부한 경험의 망을 활용합니다. 본 논문에서는 블랙박스 LLM에 전체적 경험의 지속적이고 진화하는 메모리를 부여하는 학습 불필요 다중 에이전트 추론 프레임워크인 Xolver를 제안합니다. Xolver는 외부 및 자기 검색, 도구 사용, 협업 상호작용, 에이전트 주도 평가, 반복적 개선 등 다양한 경험 양식을 통합합니다. 추론 시점에 관련 전략, 코드 조각, 추상적 추론 패턴으로부터 학습함으로써 Xolver는 솔루션을 처음부터 생성하는 것을 피하며, 독립적 추론에서 경험 인지 언어 에이전트로의 전환을 의미합니다. 오픈 웨이트 및 독점 모델 모두에 기반한 Xolver는 전문화된 추론 에이전트들을 지속적으로 능가합니다. 경량 백본(QWQ-32B 등)에서도 Qwen3-235B, Gemini 2.5 Pro, o3, o4-mini-high 등 고급 모델을 자주 능가합니다. o3-mini-high와 함께 GSM8K(98.1%), AIME'24(94.4%), AIME'25(93.7%), Math-500(99.8%), LiveCodeBench-V5(91.6%)에서 새로운 최고 성과를 달성하며, 전체적 경험 학습이 전문가 수준의 추론이 가능한 범용 에이전트로 나아가는 핵심 단계임을 강조합니다. 코드와 데이터는 https://kagnlp.github.io/xolver.github.io/ 에서 확인할 수 있습니다.
Investigating the interaction of linguistic and mathematical reasoning in language models using multilingual number puzzles
LearnAlign: Reasoning Data Selection for Reinforcement Learning in Large Language Models Based on Improved Gradient Alignment
PREMISE: Scalable and Strategic Prompt Optimization for Efficient Mathematical Reasoning in Large Models
토론
이 논문과 연결된 포럼 글이 아직 없습니다.