유사함이 다름을 의미할 때: 아랍어-히브리어 동족어에 대한 LLM 평가
When Similar Means Different: Evaluating LLMs on Arabic--Hebrew Cognates
아랍어와 히브리어는 밀접한 관계에 있는 셈어족 언어로서, 실제 동족어(true cognates), 오해를 불러일으키는 거짓 친구(false friends), 그리고 현대 외래어의 방대한 어휘를 공유합니다. 이러한 중첩은 대규모 언어 모델(LLM)의 언어 간 의미 이해에 도전 과제를 제기합니다. 이 능력을 평가하기 위해 우리는 동족어 식별 및 의미 중의성 해소를 위한 문장 수준 주석이 포함된 1,858개의 아랍어-히브리어 단어 쌍으로 구성된 정제된 벤치마크인 SemCog Bench를 소개합니다. 우리는 다양한 입력 표현(원문, 모음 부호 포함, 로마자 표기, 음운적 표현)에 걸쳐 오픈 소스 및 상용 LLM을 평가하여 언어 간 추론의 중요한 격차를 밝혀냈습니다. 모델은 실제 동족어에서는 높은 정확도를 보이지만, 거짓 친구와 외래어에서는 성능이 급격히 하락하여 표면 형태 유사성에 강하게 의존하고 있음을 보여줍니다. 또한, 문장 수준의 문맥은 제한적인 개선만을 가져오며, 이는 문맥적 단서만으로는 오해를 일으키는 형태 기반 신호를 극복하기에 부족함을 시사합니다. 이러한 발견은 언어 간 형태-의미 충돌을 해결하는 데 있어 현재 LLM의 근본적인 한계를 드러내며, SemCog Bench를 다국어 의미 추론을 위한 엄격한 벤치마크로 확립합니다. 우리의 코드와 데이터는 공개되어 있습니다.