Teaching Pretrained Models with Commonsense Reasoning: A Preliminary KB-Based Approach
원문 초록
Recently, pretrained language models (e.g., BERT) have achieved great success on many downstream natural language understanding tasks and exhibit a certain level of commonsense reasoning ability. However, their performance on commonsense tasks is still far from that of humans. As a preliminary attempt, we propose a simple yet effective method to teach pretrained models with commonsense reasoning by leveraging the structured knowledge in ConceptNet, the largest commonsense knowledge base (KB). Specifically, the structured knowledge in KB allows us to construct various logical forms, and then generate multiple-choice questions requiring commonsense logical reasoning. Experimental results demonstrate that, when refined on these training examples, the pretrained models consistently improve their performance on tasks that require commonsense reasoning, especially in the few-shot learning setting. Besides, we also perform analysis to understand which logical relations are more relevant to commonsense reasoning.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다이어그램은 대규모 언어 모델의 추론에 도움이 되는가? 삼단논법 추론으로부터의 증거
Do Diagrams Help Large Language Models Reason? Evidence from Syllogistic Reasoning
다이어그램은 논리적 추론을 지원하는 데 널리 사용되며, 선행 연구는 오일러 다이어그램(Euler diagrams)과 같은 표현이 인간의 추론 성능을 향상시킬 수 있음을 시사한다. 최근 연구에서는 이들이 대규모 언어 모델(LLM)에 미치는 영향도 탐구해 왔다. 본 논문에서는 삼단논법 추론을 위해 자연어, 논리 표기법, 선형 다이어그램, 오일러 다이어그램의 네 가지 표현 조건을 비교한다. Ando et al. (2024)의 285개 문제를 사용하여 Claude 3.5~Sonnet과 GPT-4o-mini의 두 최신 LLM을 평가한다. 결과는 다이어그램적 표현이 성능을 일관되게 향상시키지 않음을 보여준다. 모델들은 함의(entailment) 및 모순(contradiction) 문제에서는 양호한 성능을 보이지만, 중립(neutral) 문제에서는 어려움을 겪으며 종종 체계적인 변환 오류를 범한다. 전반적으로, 결과는 검증된 모델들이 논리적 추론 과제에서 다이어그램으로부터 얻는 이점이 제한적임을 시사한다.
LLM 논리 추론을 위한 기호학적 논리 육각형 이론
Semiotic logical hexagon theory for LLM logical reasoning
대규모 언어 모델(LLM)은 언어 이해와 논리적 추론을 위한 강력한 도구가 되었다. 그러나 문제가 의미 이해와 논리적 따름을 모두 요구할 때 여전히 실수를 한다. 핵심 이유는 자연어 진술이 형식적 추론이 시작되기 전에 종종 암묵적 의미 관계를 담고 있기 때문이다. 이러한 숨겨진 의미가 적절히 조직되지 않으면, 이후 추론 과정이 논리적으로 타당해 보이더라도 모델이 잘못된 결론에 도달할 수 있다. 기존 방법들은 분해, 기호적 번역, 외부 솔버, 또는 자기 검증을 통해 추론을 개선하지만, 추론이 의존하는 의미 구조에는 상대적으로 덜 주목한다. 본 논문에서는 의미 조직이 LLM에서 논리적 추론에 어떻게 영향을 미치는지를 추가로 조사한다. 이를 위해 우리는 자연어 진술의 의미를 먼저 조직한 다음 구조화된 검증을 통해 논리적 추론을 안내하는 프레임워크인 HexLogicAgent를 제안한다. 조사 과정에서 우리는 또한 두 가지 관찰을 한다. 첫째, 연역적 추론 자체보다는 불완전한 의미 표현이 LLM에서 논리적 추론 실패의 주요 원인이다. 둘째, 의미적 대립의 완전한 구조를 명시적으로 모델링하면 논리적 복잡성이 증가함에 따른 추론 성능 저하가 상당히 지연된다. 어려운 논리적 추론 벤치마크에서의 실험은 HexLogicAgent가 여러 LLM에서 추론 신뢰성을 일관되게 향상시킴을 보여준다. 핵심 아이디어는 대립하는 의미의 완전한 구조가 신뢰할 수 있는 추론에 왜 필요한지를 설명하는 논리 육각형 이론에 의해 뒷받침된다.
리랭킹이 성능을 저하시킬 때: 퓨샷 리랭킹을 위한 불확실성 기반 게이팅
When Reranking Hurts: Uncertainty-Based Gating for Few-Shot Reranking
퓨샷(few-shot) 선택은 일반적으로 검색된 예시를 리랭킹하면 항상 성능이 향상된다고 가정한다. 우리는 비용이 큰 리랭킹 단계가 실제로 성능을 저하시킬 수 있음을 밝혀냄으로써 이러한 관점에 이의를 제기한다. 대신, 우리는 모델의 불확실성을 기반으로 퓨샷 예시의 리랭킹 여부를 결정하는 Training-Free Gated Reranking을 제안한다. 7개의 자연어 이해(NLU) 데이터셋과 9개의 기계 번역(MT) 도메인-언어 조합을 포함하는 8개의 대규모 언어 모델(LLM)에 걸친 광범위한 실험을 통해, 우리의 접근법이 계산 비용을 15%~80% 절감하면서 평균 성능을 최대 2%까지 향상시킴을 입증한다. 이러한 결과는 높은 계산 비용이 더 나은 성능을 보장하지 않으며, 리랭킹은 불확실성이 높은 인스턴스를 대상으로 할 때 가장 효과적임을 시사한다.
인간은 진화된 지시 수행자인가? 내재된 귀납적 바이어스가 빠른 지시 기반 과제 학습을 가능하게 한다
Are Humans Evolved Instruction Followers? An Underlying Inductive Bias Enables Rapid Instructed Task Learning
성인은 언어적 또는 문서화된 지시를 받은 후 첫 시도에서 새로운 과제를 올바르게 수행하는 경우가 많다. 이러한 빠른 지시 기반 과제 학습(RITL, rapid instructed task learning)은 인간 인지 유연성의 핵심적 특징이지만, 그 메커니즘과 인공 시스템과의 유사성은 여러 학문 분야에 걸쳐 충분히 탐구되지 않았다. 이 포지션 페이퍼에서 우리는 인간이 진화된 지시 수행 바이어스(instruction-following bias)를 보유하고 있다고 주장한다. 이는 언어적 지시를 해석하고 실행하도록 진화에 의해 형성된 귀납적 바이어스로, 언어로부터 행동의 빠른 일반화를 핵심적으로 가능하게 한다. 이 바이어스는 대규모 언어 모델(LLM)이 지시 미세조정을 활용하여 제로샷 과제 수행을 달성하는 방식과 유사하게 기능한다. 우리는 이 가설을 뒷받침하기 위해 인지과학, 신경과학, 기계학습 연구의 증거를 종합한다. AI에서의 지시 수행은 현재 특화된 학습 프로토콜을 통해 달성되는 반면, 인간에서는 선천적인 인지 아키텍처 특징으로 발생한다고 우리는 주장한다. 우리는 검증 가능한 예측들을 제시하고, 자연 및 인공 신경망 모두에서 빠른 과제 학습을 가능하게 하는 통합 메커니즘으로서의 지시 수행(Instruction-Following)을 탐구하기 위한 학제 간 연구를 촉구한다.
COCOLogic-V2: 진정한 Hard-Negative를 통한 논리적 불일치 식별
COCOLogic-V2: Identifying Logical Inconsistencies via Truly Hard-Negatives
개념 병목 모델(concept bottleneck model, CBM)과 프로그램 합성(program synthesis) 방법과 같은 해석 가능한 모델은 모델의 결정을 검증할 수 있게 하지만, 평가는 일반적으로 단순한 과제에 국한되어 실제 이미지에 대한 복잡한 추론은 대부분 탐구되지 않은 채로 남아 있다. 우리는 일계 논리(first-order logic)의 넓은 부분집합을 다루는 실제 이미지에 대한 시각적 귀납 추론(visual inductive reasoning)을 위한 객체 중심(object-centric) 데이터셋인 COCOLogic-V2를 제안한다. 샘플을 긍정 변형(positive variants), 경계 근처(near-boundary, NB), 경계 원거리(far-from-boundary, FB) 음성 예시로 분류함으로써, COCOLogic-V2는 모델 책임성(model accountability)에 대한 세밀한 진단을 가능하게 한다. 우리의 평가 결과, 모델은 긍정 샘플과 FB 샘플을 잘 분리하는 경향이 있으나 NB 샘플에서는 실패하며, 지각적 노이즈(perceptual noise)와 규칙으로 유발된 큰 탐색 공간(rule-induced search spaces)은 퓨샷(few-shot) 설정에서 추가적인 도전 과제가 된다. 종합하면, 이러한 결과는 시각적 귀납 추론이 여전히 미해결 과제(open challenge)임을 강조하며, COCOLogic-V2가 이 방향의 방법 발전을 위한 구체적인 기반을 제공함을 보여준다.
LogiQA 2.0—An Improved Dataset for Logical Reasoning in Natural Language Understanding
토론
이 논문과 연결된 포럼 글이 아직 없습니다.