PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13607v1cs.CL

BLiMPPI: 극성 표현을 위한 언어학적 최소 대립쌍 벤치마크

BLiMPPI: Benchmark of Linguistic Minimal Pairs for Polarity Items

"anymore"나 "ever"와 같은 부정극어(NPI)는 부정 표현의 맥락 등 주로 제한된 특정 환경에서만 문법적입니다. 이러한 문법성은 구문론(syntax)과 의미론(semantics) 모두에 의존하므로 이론 언어학에서는 풍부한 다국어 연구가 이루어져 왔으나, 언어 모델에서의 NPI 관련 연구는 거의 전적으로 영어에만 국한되어 있습니다. 본 논문에서는 Universal Dependencies(UD) 트리뱅크에서 NPI를 발견하고, 인가 환경(licensing environment)에 레이블을 지정하며, 이를 변형하여 최소 대립쌍(minimal pair)으로 생성하는 파이프라인을 구축하여 33개 언어, 12,000개 이상의 NPI 최소 대립쌍으로 구성된 다국어 평가 스위트인 BLiMPPI를 소개합니다. n-gram 베이스라인과 함께 12개의 다국어 모델 및 2개의 단일어 모델을 평가한 결과, 다국어 모델은 저자원 언어와 n-gram으로 해결할 수 없는 대립쌍에서 가장 큰 어려움을 겪는 것으로 나타났습니다. 아울러 NPI 유형론, 어족, 인가 다양성, 그리고 NPI와 인가어(licenser) 간 거리의 영향을 추가로 분석합니다. 데이터: https://github.com/arzuburcuguven/blimppi-data

arXiv:2604.27232v3cs.CL

최소 번역 쌍을 이용한 수화 모델의 표적 언어학적 분석

Targeted Linguistic Analysis of Sign Language Models with Minimal Translation Pairs

수화 모델은 역사적으로 구어(텍스트 및 음성) 모델에 비해 뒤처져 왔다. 최근 연구는 수화 번역 및 단독 수화 인식과 같은 과제에서 그 성능을 크게 향상시켰다. 그러나 기존 모델이 수화의 다양한 언어학적 현상을 어느 정도 포착하는지, 그리고 수화에서 사용되는 여러 발화 요소(손, 상체, 얼굴)의 단서를 얼마나 잘 활용하는지는 여전히 불분명하다. 우리는 미국 수화(ASL)를 위한 새로운 벤치마크 데이터셋인 ASL Minimal Translation Pairs(ASL-MTP)를 제안한다. 이 데이터셋은 수화 언어학적 현상의 여러 유형과 이에 대응하는 최소 번역 쌍으로 나누어 이러한 언어학적 분석을 수행할 수 있도록 구성되어 있다. 사례 연구로 ASL-MTP를 사용하여 최신 ASL-영어 번역 모델을 분석한다. 학습 및 추론 중 다양한 입력 단서를 제거(ablation)하고 ASL-MTP의 현상에 대해 평가함으로써 모델에 대한 표적 분석을 수행한다. 결과는 대부분의 현상에서 모델이 우연 수준 이상의 성능을 보이지만, 수동적(manual) 단서에 강하게 의존하는 반면 중요한 비수동적(non-manual) 단서를 자주 놓친다는 것을 보여준다.

arXiv:2607.00171v1cs.CL

ALEE: Any-Language Evaluation of Embeddings via English-Centric Minimal Pairs

Text embeddings are standard for semantic similarity tasks, yet their evaluation remains an open challenge. Current benchmarks are static, cover only a limited set of languages, are often domain-specific, susceptible to overfitting, and poorly representative of low-resource languages. To address these limitations, we introduce ALEE, a framework that extends Sentence Smith (Li et al., 2025) to the cross-lingual and paragraph level. ALEE uses Abstract Meaning Representations (AMR) to generate English minimal pairs with controlled, fine-grained semantic shifts, which are paired with translations in target languages. This approach enables targeted diagnostics for models in any language with English parallel data. We conduct a large-scale empirical study across a diverse set of embedding models and 275+ languages spanning three parallel datasets. On ALEE, performance varies substantially across languages, text lengths, and linguistic phenomena, exposing persistent gaps in cross-lingual semantic representation that track language prevalence in training resources and subword tokenization. We release ALEE at https://github.com/Andrian0s/any-lang-embed-eval