해석 가능한 텍스트 함의를 위한 언어적 특징
Linguistic Features for Interpretable Textual Entailment
한국어 초록
자연어 처리(NLP)에서 신경망 모델이 성공을 거두었지만, 블랙박스 특성 때문에 해석 가능성이 제한되고 예측의 근거가 되는 언어적 현상이 드러나지 않는다. 본 연구는 텍스트 함의 인식(Recognizing Textual Entailment)을 위한 설명 가능한 하이브리드 모델 SLITE를 제안한다. SLITE는 두 가지 상호 보완적인 의미 분석 층을 통합한다. 하나는 조합적 개체(compositional entities) 간 의미적 호환·비호환에 기반한 구조-관계(structural-relational) 층이고, 다른 하나는 전제(premise)와 가설(hypothesis)의 임베딩 기반 표현 사이 정보 변화의 구조화된 패턴에 기반한 분포-정보(distributional-informational) 층이다. 개체 수준 의미 관계, 극성(polarity)에 민감한 어휘 매칭, 유사도 행렬의 의미적 하위 표현에 대한 정렬(alignment) 측정—엔트로피 및 전달 엔트로피(transfer entropy)에 기반한 측정을 포함—을 결합한 17개 특징을 제안한다. 이 특징으로 학습한 로지스틱 회귀는 3-class SICK에서 정확도 83%, SICK-CE에서 96%를 달성하여 IsoLex보다 4퍼센트포인트 높고, RoBERTa 대비 계산 복잡도는 훨씬 낮으면서 정확도는 2퍼센트포인트 이내이다. 소거(ablation) 연구와 SHAP 분석은 구조-관계 특징이 분류의 주된 동인임을 확인했으며, 분포-정보 특징은 특히 중립(neutrality)과 모순(contradiction) 탐지에 필수적인 보조 기여를 한다. 결과는 하이브리드 접근에 대한 추가 탐구가 거대 신경망 아키텍처 대신 실행 가능하고 과학적으로 유의미한 대안임을 보여 주며, 언어 이론과 추론(inference)의 계산 모델링 간 대화를 더욱 촉진하기를 기대한다.
원문 초록
Despite the success of neural models in natural language processing, their black-box nature limits interpretability and conceals the linguistic phenomena underlying their predictions. We present SLITE, an explainable hybrid model for Recognizing Textual Entailment that integrates two complementary layers of semantic analysis: a structural-relational layer, based on semantic compatibility and incompatibility between compositional entities, and a distributional-informational layer, based on structured patterns of information change between embedding-based representations of the premise and the hypothesis. We propose 17 features that combine entity-level semantic relations, polarity-sensitive lexical matching, and alignment measures over semantic sub-representations of the similarity matrix, including measures based on entropy and transfer entropy. A logistic regression trained on these features achieves an accuracy of 83% on three-class SICK and 96% on SICK-CE, outperforming IsoLex by 4 percentage points and falling within 2 percentage points of RoBERTa with a fraction of its computational complexity. Ablation studies and SHAP analysis confirm that structural-relational features are the primary drivers of classification, while distributional-informational features provide essential complementary contributions, particularly for detecting neutrality and contradiction. Our results demonstrate that further exploration of hybrid approaches is a viable and scientifically productive alternative to massive neural architectures, and we hope they will strengthen the dialogue between linguistic theory and computational modeling of inference
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.24932v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.