Are LLMs Rigorous Logical Reasoner? Empowering Natural Language Proof Generation with Contrastive Stepwise Decoding
원문 초록
Logical reasoning remains a pivotal component within the realm of artificial intelligence. The recent evolution of large language models (LLMs) has marked significant progress in this domain. The adoption of strategies like chain-of-thought (CoT) has enhanced the performance of LLMs across diverse reasoning tasks. Nonetheless, logical reasoning that involves proof planning, specifically those that necessitate the validation of explanation accuracy, continues to present stumbling blocks. In this study, we first evaluate the efficacy of LLMs with advanced CoT strategies concerning such tasks. Our analysis reveals that LLMs still struggle to navigate complex reasoning chains, which demand the meticulous linkage of premises to derive a cogent conclusion. To address this issue, we finetune a smaller-scale language model, equipping it to decompose proof objectives into more manageable subgoals. We also introduce contrastive decoding to stepwise proof generation, making use of negative reasoning paths to strengthen the model's capacity for logical deduction. Experiments on EntailmentBank underscore the success of our method in augmenting the proof planning abilities of language models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
경로가 중요하다: KGQA에서 답변 정확도를 넘어선 소규모 언어 모델 평가
The Path Matters: Evaluating Small Language Models Beyond Answer Accuracy in KGQA
소규모 언어 모델(SLM)은 지식 그래프(KG)와 함께 사용되는 경우가 점점 늘고 있지만, 종단간(end-to-end) KG 질의응답은 그래프 접근, 탐색, 내비게이션, 추론, 답변 생성을 한데 뒤섞는다. 이러한 결합 때문에 SLM이 질문에 내포된 추론 경로를 충실하게 실행할 수 있는지를 판단하기도, 실패의 원인을 파이프라인의 다른 단계가 아닌 내비게이션에 귀속시키기도 어렵다. 우리는 THESEUS 내비게이션 및 추적성 프레임워크를 사용하고, 고정된(frozen) 기성 SLM을 로컬 행동 정책(local action policy)으로 활용하여 이 능력을 분리해 평가한다. 각 홉(hop)마다 환경은 실행 가능한 나가는 그래프 행동을 제시하고, 모델은 실행 가능한 그래프 행동 하나를 선택하며 중단할지 여부를 결정한다. 이 과정에서 과제별 매개변수 업데이트, 모델이 제어하는 빔 서치, 자유 형식 답변 생성은 사용하지 않는다. 이러한 통제된 설정을 통해 최종 답변 정확도를 Hits@1로, 경로 충실도(path fidelity)를 Path Edit Distance(PED)를 주요 궤적 지표로 사용하여 함께 평가할 수 있다. Kinship과 MQuAKE-ST KGQA 전반에서, 크기가 비슷한 로컬 모델들도 답변 정확도와 경로 충실도에서 크게 다르며, 두 지표가 서로 다른 모델을 선호하는 경우도 있다. 이러한 모델 의존적 양상은 프롬프팅에서도 나타나, 시연된 궤적 하나가 모델에 따라 내비게이션을 개선하거나 오히려 저하시킬 수 있다. 이러한 결과는 SLM의 그래프 추론을 최종 답변 정확도만이 아니라 그 너머까지 평가해야 함을 시사한다.
Parameter Efficient Fine Tuning Llama 3.1 for Answering Arabic Legal Questions: A Case Study on Jordanian Laws
Induced Model Matching: Restricted Models Help Train Full-Featured Models
Developing Question-Answering Models in Low-Resource Languages: A Case Study on Turkish Medical Texts Using Transformer-Based Approaches
Customising General Large Language Models for Specialised Emotion Recognition Tasks
Boosting Zero-Shot Human-Object Interaction Detection with Vision-Language Transfer
토론
이 논문과 연결된 포럼 글이 아직 없습니다.