Reliable Natural Language Understanding with Large Language Models and Answer Set Programming
원문 초록
Humans understand language by extracting information (meaning) from sentences, combining it with existing commonsense knowledge, and then performing reasoning to draw conclusions. While large language models (LLMs) such as GPT-3 and ChatGPT are able to leverage patterns in the text to solve a variety of NLP tasks, they fall short in problems that require reasoning. They also cannot reliably explain the answers generated for a given question. In order to emulate humans better, we propose STAR, a framework that combines LLMs with Answer Set Programming (ASP). We show how LLMs can be used to effectively extract knowledge -- represented as predicates -- from language. Goal-directed ASP is then employed to reliably reason over this knowledge. We apply the STAR framework to three different NLU tasks requiring reasoning: qualitative reasoning, mathematical reasoning, and goal-directed conversation. Our experiments reveal that STAR is able to bridge the gap of reasoning in NLU tasks, leading to significant performance improvements, especially for smaller LLMs, i.e., LLMs with a smaller number of parameters. NLU applications developed using the STAR framework are also explainable: along with the predicates generated, a justification in the form of a proof tree can be produced for a given output.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
ASyMOB: 대수적 기호 수학 연산 벤치마크
ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark
대규모 언어 모델(LLM)은 기호 수학(symbolic mathematics) 분야에 점점 더 많이 적용되고 있으나, 기존 평가 방식들은 패턴 암기와 진정한 추론(reasoning)을 혼동하는 경우가 많습니다. 이러한 격차를 해결하기 위해, 우리는 적분, 극한, 미분 방정식, 급수, 및 초기하 함수를 아우르는 검증된 35,368개의 기호 수학 문제로 구성된 고해상도 데이터셋인 ASyMOB를 제시합니다. 기존 벤치마크와 달리, ASyMOB는 기호적, 수치적, 그리고 동등성 보존 변환을 사용하여 각 시드 문제를 체계적으로 변형함으로써, 일반화 능력에 대한 정밀한 평가를 가능하게 합니다. 우리의 평가 결과 세 가지 주요 발견이 드러났습니다: (1) 대부분의 모델은 사소한 변형 하에서도 성능이 급격히 하락하는 반면, 상위 시스템들은 견고성(robustness)에서 명백한 레짐 변화(regime shift)를 보입니다; (2) 통합된 코드 도구는 성능을 안정화시키며, 특히 성능이 낮은 모델에서 그 효과가 두드러집니다; (3) 컴퓨터 대수 시스템(CAS)이 실패하고 LLM이 성공하는 사례와 하이브리드 LLM-CAS 접근 방식을 통해서만 해결되는 문제를 식별하여, 유망한 통합의 가능성을 강조했습니다. ASyMOB는 과학적 발견을 위한 검증 가능하고 신뢰할 수 있는 AI 구축의 진전을 측정하고 가속화하기 위한 원칙에 기반한 진단 도구로서 기능합니다.
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
Vision Language Action Models in Robotic Manipulation: A Systematic Review
A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
Skywork-R1V3 Technical Report
CriticLean: Critic-Guided Reinforcement Learning for Mathematical Formalization
토론
이 논문과 연결된 포럼 글이 아직 없습니다.