대규모 언어 모델(LLM)에서 현대 표준 아랍어(MSA)가 아랍어 방언을 지배하는가? 표현 수준 분석
Does Modern Standard Arabic (MSA) Dominate Arabic Dialects in LLMs? A Representation-Level Analysis
대규모 언어 모델(LLM)은 방언 아랍어로 프롬프트를 입력받더라도 아랍어를 생성할 때 현대 표준 아랍어(MSA)를 기본값으로 사용하는 경우가 많습니다. 이에 대한 자연스러운 설명은 모델의 내부 표현이 MSA에 의해 지배된다는 가설입니다. 본 연구에서는 Shani와 Basirat (2025) (https://doi.org/10.18653/v1/2025.blackboxnlp-1.7)의 언어 지배(language-dominance) 프레임워크를 26개 아랍어 변이형에 적용하여 이 가설을 검증합니다. 여러 레이어와 모델 패밀리 전반에 걸쳐 분석한 결과, MSA가 아랍어 방언에 대한 지배적인 내부 표현으로 작용한다는 증거는 발견되지 않았습니다. 대신 방언 표현들은 조밀하고 크게 중첩된 공간을 형성하며, 더 뚜렷이 구분되는 언어들에서 보고된 패턴과 비교했을 때 정규화된 상호정보량(normalized mutual information)이 급격히 떨어집니다. 또한 가장 강한 분리도(separability) 효과는 중간 레이어에 국한되지 않고, 아키텍처에 따라 후반부 레이어로 이동할 수 있습니다. 이러한 발견은 MSA 편향 생성에 대한 일반적인 해석에 의문을 제기합니다. 즉, 출력 선호도가 내부 표현상의 지배력을 반드시 드러내는 것은 아닙니다. 따라서 다국어 및 방언 LLM 분석은 생성 바이어스와 내부 표현의 기하학적 구조를 구분해야 합니다.