PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26610v1cs.CL

자연어 추론을 위한 의미적 추상화: 대규모 언어 모델의 의미 지식 및 추론 격차 발견과 보완을 위한 방법론적 프레임워크

Semantic Abstraction for Natural Language Inference: a Methodological Framework for Discovering and Compensating Semantic Knowledge and Reasoning Gaps in Large Language Models

많은 NLP 과제에서 뛰어난 성능을 보임에도 불구하고, LLM은 의미적 추상화와 관련해 심각한 어려움에 직면한다. 본 연구에서는 LLM이 자연어 추론(NLI)에서 추상적 의미 지식을 어떻게 활용하는지 이해하는 데 관심을 둔다. NLI는 암시적 의미, 맥락적 개념 관계, 단어 및 구 간의 의미적 연결을 해석하기 위해 정교한 언어 능력을 요구한다. 이를 위해 더 높은 수준의 추상화에서 새로운 의미 지식을 구성하는 방법론적 프레임워크를 제안하며, 이를 NLI를 위한 의미적 호환성(semantic compatibility)과 비호환성(semantic incompatibility) 개념 하에 정의한다. 이 프레임워크에서 전제(premise)와 가설(hypothesis) 간의 어휘-의미 관계의 의미를 재구성하여, LLM에서 서로 다른 추론 경로를 유도하는 보다 유연한 의미 네트워크를 달성한다. 이러한 새로운 경로들은 단일 응답에 대한 합의를 가능하게 하는 일관된 응답 패턴을 보인다. 결과는 제안이 NLI에서 LLM의 의미 지식 격차를 발견하고 보완할 수 있음을 보여주며, 정확도에서 유의미한 향상을 달성하고, 일부 모델에서는 10%를 넘는 개선을 이루었으며, 특히 non-entailment 클래스에서 두드러진다. 추론 격차를 메우기 위해서는 LLM이 단순히 더 많은 데이터가 아니라 구조화된 지식을 필요로 한다는 점이 핵심이다. 하이브리드 접근법은 간과된 단어 관계에 어텐션을 두어 모델이 누락된 정보를 합성할 수 있게 한다. 미래는 모델 크기를 키우는 것이 아니라 인간 사고의 유연성을 모방하는 의미적 스캐폴딩(semantic scaffolding)을 만드는 데 있다고 본다. 바라건대, 제안이 더 견고한 에이전트와 해석 가능한 추론의 개발을 가능하게 하고, AI를 신뢰할 수 있는 언어 이해로 이끌 것이다.