BLiMPPI: 극성 표현을 위한 언어학적 최소 대립쌍 벤치마크
BLiMPPI: Benchmark of Linguistic Minimal Pairs for Polarity Items
"anymore"나 "ever"와 같은 부정극어(NPI)는 부정 표현의 맥락 등 주로 제한된 특정 환경에서만 문법적입니다. 이러한 문법성은 구문론(syntax)과 의미론(semantics) 모두에 의존하므로 이론 언어학에서는 풍부한 다국어 연구가 이루어져 왔으나, 언어 모델에서의 NPI 관련 연구는 거의 전적으로 영어에만 국한되어 있습니다. 본 논문에서는 Universal Dependencies(UD) 트리뱅크에서 NPI를 발견하고, 인가 환경(licensing environment)에 레이블을 지정하며, 이를 변형하여 최소 대립쌍(minimal pair)으로 생성하는 파이프라인을 구축하여 33개 언어, 12,000개 이상의 NPI 최소 대립쌍으로 구성된 다국어 평가 스위트인 BLiMPPI를 소개합니다. n-gram 베이스라인과 함께 12개의 다국어 모델 및 2개의 단일어 모델을 평가한 결과, 다국어 모델은 저자원 언어와 n-gram으로 해결할 수 없는 대립쌍에서 가장 큰 어려움을 겪는 것으로 나타났습니다. 아울러 NPI 유형론, 어족, 인가 다양성, 그리고 NPI와 인가어(licenser) 간 거리의 영향을 추가로 분석합니다. 데이터: https://github.com/arzuburcuguven/blimppi-data