arXiv:2610.11510v1 cs.CL

대규모 언어 모델(LLM)에서 현대 표준 아랍어(MSA)가 아랍어 방언을 지배하는가? 표현 수준 분석

Does Modern Standard Arabic (MSA) Dominate Arabic Dialects in LLMs? A Representation-Level Analysis

Abdu Sallouh, Nicholas Popovič, Michael Färber

제출 2026-10-08

저자 비고

arXiv Comments

EMNLP 2026

한국어 초록

대규모 언어 모델(LLM)은 방언 아랍어로 프롬프트를 입력받더라도 아랍어를 생성할 때 현대 표준 아랍어(MSA)를 기본값으로 사용하는 경우가 많습니다. 이에 대한 자연스러운 설명은 모델의 내부 표현이 MSA에 의해 지배된다는 가설입니다. 본 연구에서는 Shani와 Basirat (2025) (https://doi.org/10.18653/v1/2025.blackboxnlp-1.7)의 언어 지배(language-dominance) 프레임워크를 26개 아랍어 변이형에 적용하여 이 가설을 검증합니다. 여러 레이어와 모델 패밀리 전반에 걸쳐 분석한 결과, MSA가 아랍어 방언에 대한 지배적인 내부 표현으로 작용한다는 증거는 발견되지 않았습니다. 대신 방언 표현들은 조밀하고 크게 중첩된 공간을 형성하며, 더 뚜렷이 구분되는 언어들에서 보고된 패턴과 비교했을 때 정규화된 상호정보량(normalized mutual information)이 급격히 떨어집니다. 또한 가장 강한 분리도(separability) 효과는 중간 레이어에 국한되지 않고, 아키텍처에 따라 후반부 레이어로 이동할 수 있습니다. 이러한 발견은 MSA 편향 생성에 대한 일반적인 해석에 의문을 제기합니다. 즉, 출력 선호도가 내부 표현상의 지배력을 반드시 드러내는 것은 아닙니다. 따라서 다국어 및 방언 LLM 분석은 생성 바이어스와 내부 표현의 기하학적 구조를 구분해야 합니다.

원문 초록

Large language models (LLMs) often default to Modern Standard Arabic (MSA) when generating Arabic, even when prompted with dialectal Arabic. A natural explanation is that their internal representations are dominated by MSA. We test this hypothesis by adapting the language-dominance framework of Shani and Basirat (2025) (https://doi.org/10.18653/v1/2025.blackboxnlp-1.7) to 26 Arabic varieties. Across layers and model families, we find no evidence that MSA acts as a dominant internal representation for Arabic dialects. Instead, dialect representations form a dense and highly overlapping space: normalized mutual information drops sharply compared to patterns reported for more distinct languages. Moreover, the strongest separability effects are not confined to intermediate layers, but can shift toward later layers depending on the architecture. These findings challenge a common interpretation of MSA-biased generation: output preference does not necessarily reveal internal representational dominance. Analyses of multilingual and dialectal LLMs should therefore distinguish generation bias from the geometry of internal representations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11510v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.