Location Not Found: Exposing Implicit Local and Global Biases in Multilingual LLMs
한국어 초록
다국어 대규모 언어 모델(LLM)은 언어 간 유창성 격차를 최소화해 왔습니다. 그러나 이러한 발전은 지식과 규범이 언어 간에 전파될 수 있기 때문에, 모델이 편향된 행동을 보일 위험도 드러냅니다. 본 연구에서는 로케일이 모호한 질문에 답하는 능력을 통해 모델의 언어 간 및 언어 내 편향을 정량화하고자 합니다. 이를 위해 법률, 날짜, 측정값 등 다양한 로케일 의존적 사실을 다루는 12개 언어의 2,156개 질문으로 구성된 테스트 세트 LocQA를 제안합니다. 이 질문들은 질의에 사용된 언어 자체 외에는, 자신이 어떤 로케일과 관련된 것인지에 대한 단서를 포함하지 않습니다. 따라서 LocQA의 로케일이 모호한 질문에 대한 LLM의 응답은 모델의 암묵적 사전확률을 드러냅니다. 우리는 LocQA를 사용해 32개 모델을 평가했고, 두 가지 유형의 구조적 편향을 발견했습니다. 언어 간 측면에서는, 영어가 아닌 다른 언어로 질문하더라도 미국 로케일과 관련된 답변을 선호하는 전역적 편향이 존재함을 보였습니다. 또한 이러한 전역적 편향은 기본 모델보다 인스트럭션 튜닝을 거친 모델에서 더 심화된다는 점도 확인했습니다. 언어 내 측면에서는, 동일한 언어에 대해 여러 로케일이 관련될 경우 모델이 인구 규모가 더 큰 로케일을 우선시하는 인구통계학적 확률 엔진처럼 작동함을 보였습니다. 종합하면, LocQA에서 얻은 통찰은 LLM의 바람직한 지역적 동작을 형성하는 데 도움이 될 수 있으며, 다양한 학습 단계가 서로 다른 유형의 편향에 미치는 영향을 정량화하는 데에도 기여할 수 있습니다.
요약
다국어 대규모 언어 모델(Large Language Models, LLMs)은 여러 언어에서 자연스러운 응답을 생성하는 능력을 빠르게 끌어올렸지만, 그 과정에서 언어 유창성의 향상이 곧 지역적 적합성을 보장하지는 않는다는 점이 점점 더 중요해지고 있습니다. 이러한 문제의식에서 출발한 이 연구는, 질문에 언어 외의 지역 단서를 의도적으로 제거한 뒤 모델이 어떤 지역을 기본값으로 상정하는지를 관찰함으로써, 다국어 모델 내부에 잠재한 편향을 정량화하고자 합니다. 즉, 단순히 정답을 맞히는지를 보는 대신, 모델이 모호한 상황에서 어떤 로케일(locale)을 먼저 떠올리는지를 통해 암묵적 priors를 드러내는 방법론을 취합니다. 이를 위해 저자들은 법률, 날짜, 측정 단위처럼 지역에 따라 답이 달라질 수 있는 사실을 포함하되, 질문 문장 자체에는 특정 국가나 지역을 암시하는 정보를 넣지 않은 LocQA를 구축했습니다. LocQA는 12개 언어로 구성된 2,156개의 질문으로 이루어져 있으며, 49개 로케일에 걸친 정답을 함께 제공하도록 설계되어, 언어가 동일해도 지역에 따라 달라지는 응답 패턴을 세밀하게 비교할 수 있게 합니다. 데이터셋 구축 과정에서도 번역과 정답 검증의 신뢰도를 높이기 위한 다단계 품질 통제가 적용되었습니다. 각 언어는 해당 언어에 능숙한 이중언어 주석자들에 의해 번역되었고, 다른 주석자가 이를 교차 검토했으며, 최종적으로 연구진이 전체 항목을 재점검하여 번역 편차와 해석 차이를 최소화했습니다. 이러한 설계는 기존의 문화·지식 벤치마크가 대체로 지역을 명시적으로 드러내는 방식이어서 모델의 내재적 편향을 감추기 쉽다는 한계를 보완합니다. 다시 말해, LocQA는 “모델이 무엇을 알고 있는가”보다 “모델이 무엇을 표준 세계로 간주하는가”를 측정하기 위한 진단 도구라는 점에서 방법론적 의의가 큽니다. 연구진은 이 벤치마크로 32개 모델을 평가하면서, 다국어 모델의 편향이 하나의 축으로만 설명되지 않는다는 사실을 확인했습니다. 첫째, 언어가 영어가 아니더라도 미국 중심의 응답이 우세하게 나타나는 전역 편향(Global Bias)이 관찰되었으며, 특히 인스트럭션 튜닝(instruction tuning)을 거친 모델에서 이러한 경향이 더 강해졌습니다. 이는 정렬(alignment) 과정이 응답의 유용성과 일관성을 높이는 동시에, 특정 문화권의 규범을 암묵적 기준으로 강화할 수 있음을 시사합니다. 둘째, 같은 언어 안에서 여러 로케일이 가능한 경우에는 인구가 더 많은 지역이 우선되는 지역 편향(Regional Bias)이 나타났는데, 이는 모델이 마치 인구 통계적 확률을 따르는 엔진처럼 작동할 수 있음을 보여 줍니다. 결국 이 연구는 다국어 성능을 평가할 때 언어 유창성만으로는 부족하며, 지역성(localization)이라는 독립적인 축을 함께 보아야 한다는 점을 분명히 합니다. 나아가 LLM의 발전이 단순한 전이 성능 향상이 아니라, 어떤 지역적 세계관을 기본값으로 채택하는지에 대한 문제와 직결된다는 사실을 드러내며, 향후 더 공정하고 다원적인 다국어 모델 설계를 위한 중요한 기준점을 제시합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.