arXiv:2210.02729

Join-Chain Network: A Logical Reasoning View of the Multi-head Attention in Transformer

Jianyi Zhang, Yiran Chen, Jianshu Chen

제출 2022-10-06

원문 초록

Developing neural architectures that are capable of logical reasoning has become increasingly important for a wide range of applications (e.g., natural language processing). Towards this grand objective, we propose a symbolic reasoning architecture that chains many join operators together to model output logical expressions. In particular, we demonstrate that such an ensemble of join-chains can express a broad subset of ''tree-structured'' first-order logical expressions, named FOET, which is particularly useful for modeling natural languages. To endow it with differentiable learning capability, we closely examine various neural operators for approximating the symbolic join-chains. Interestingly, we find that the widely used multi-head self-attention module in transformer can be understood as a special neural operator that implements the union bound of the join operator in probabilistic predicate space. Our analysis not only provides a new perspective on the mechanism of the pretrained models such as BERT for natural language understanding but also suggests several important future improvement directions.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23513v1cs.CL공통 태그 Natural Language Understanding, Logical Reasoning

다이어그램은 대규모 언어 모델의 추론에 도움이 되는가? 삼단논법 추론으로부터의 증거

Do Diagrams Help Large Language Models Reason? Evidence from Syllogistic Reasoning

다이어그램은 논리적 추론을 지원하는 데 널리 사용되며, 선행 연구는 오일러 다이어그램(Euler diagrams)과 같은 표현이 인간의 추론 성능을 향상시킬 수 있음을 시사한다. 최근 연구에서는 이들이 대규모 언어 모델(LLM)에 미치는 영향도 탐구해 왔다. 본 논문에서는 삼단논법 추론을 위해 자연어, 논리 표기법, 선형 다이어그램, 오일러 다이어그램의 네 가지 표현 조건을 비교한다. Ando et al. (2024)의 285개 문제를 사용하여 Claude 3.5~Sonnet과 GPT-4o-mini의 두 최신 LLM을 평가한다. 결과는 다이어그램적 표현이 성능을 일관되게 향상시키지 않음을 보여준다. 모델들은 함의(entailment) 및 모순(contradiction) 문제에서는 양호한 성능을 보이지만, 중립(neutral) 문제에서는 어려움을 겪으며 종종 체계적인 변환 오류를 범한다. 전반적으로, 결과는 검증된 모델들이 논리적 추론 과제에서 다이어그램으로부터 얻는 이점이 제한적임을 시사한다.

arXiv:2607.21933v1cs.AI공통 태그 Natural Language Understanding, Logical Reasoning

LLM 논리 추론을 위한 기호학적 논리 육각형 이론

Semiotic logical hexagon theory for LLM logical reasoning

대규모 언어 모델(LLM)은 언어 이해와 논리적 추론을 위한 강력한 도구가 되었다. 그러나 문제가 의미 이해와 논리적 따름을 모두 요구할 때 여전히 실수를 한다. 핵심 이유는 자연어 진술이 형식적 추론이 시작되기 전에 종종 암묵적 의미 관계를 담고 있기 때문이다. 이러한 숨겨진 의미가 적절히 조직되지 않으면, 이후 추론 과정이 논리적으로 타당해 보이더라도 모델이 잘못된 결론에 도달할 수 있다. 기존 방법들은 분해, 기호적 번역, 외부 솔버, 또는 자기 검증을 통해 추론을 개선하지만, 추론이 의존하는 의미 구조에는 상대적으로 덜 주목한다. 본 논문에서는 의미 조직이 LLM에서 논리적 추론에 어떻게 영향을 미치는지를 추가로 조사한다. 이를 위해 우리는 자연어 진술의 의미를 먼저 조직한 다음 구조화된 검증을 통해 논리적 추론을 안내하는 프레임워크인 HexLogicAgent를 제안한다. 조사 과정에서 우리는 또한 두 가지 관찰을 한다. 첫째, 연역적 추론 자체보다는 불완전한 의미 표현이 LLM에서 논리적 추론 실패의 주요 원인이다. 둘째, 의미적 대립의 완전한 구조를 명시적으로 모델링하면 논리적 복잡성이 증가함에 따른 추론 성능 저하가 상당히 지연된다. 어려운 논리적 추론 벤치마크에서의 실험은 HexLogicAgent가 여러 LLM에서 추론 신뢰성을 일관되게 향상시킴을 보여준다. 핵심 아이디어는 대립하는 의미의 완전한 구조가 신뢰할 수 있는 추론에 왜 필요한지를 설명하는 논리 육각형 이론에 의해 뒷받침된다.

arXiv:2606.17905v1cs.CL공통 태그 Natural Language Understanding, Logical Reasoning

ChLogic: 중국어 표현에서의 논리적 추론 강건성 평가

ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions

대규모 언어 모델(LLM)은 표준화된 논리적 추론 벤치마크에서 점차 더 좋은 성능을 보이지만, 영어 이외의 언어에서도 이 능력이 강건하게 유지되는지는 불분명합니다. 우리는 동일한 잠재적 논리 구조가 영어와 다양한 중국어 표면 실현(surface realizations)으로 표현될 때 모델이 논리적 추론 성능을 유지하는지 테스트하는 영어-중국어 정렬 벤치마크인 ChLogic을 소개합니다. 형식적 논리 템플릿으로 구축된 이 벤치마크는 세 가지 데이터셋을 포함합니다: (i) 9개의 템플릿 패밀리에 걸친 60개의 일반 명제(General Propositions)에서 파생된 General aligned set, (ii) 40개의 난제(Difficult Problems)에서 파생된 Difficult aligned set, (iii) 15개의 언어 특정 현상 유형을 다루는 Chinese-only set. 각 정렬된 항목은 하나의 영어 참조 표현과 다섯 개의 중국어 실현을 쌍으로 구성합니다. Qwen3, Ministral, GLM 모델에 대한 실험 결과, 지속적인 영어-중국어 성능 격차가 드러났습니다. 표준 중국어에서 영어로의 역번역(back-translation)은 General aligned set에서 성능을 향상시키는 경우가 많지만, Difficult aligned set에서는 혼재된 결과를 보이며, 여기서 Qwen3-32B와 GLM-5.1은 번역 후 성능이 저하되었습니다. 이러한 결과는 중국어 표면 실현, 번역 아티팩트(artifacts), 그리고 모델 특정 행동이 다국어 논리적 추론에 공동으로 영향을 미침을 시사합니다. 전반적으로, ChLogic은 다국어 추론의 강건성에 대한 유용한 스트레스 테스트를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.