arXiv:2412.03304

Global MMLU: Understanding and Addressing Cultural and Linguistic Biases in Multilingual Evaluation

Shivalika Singh, Angelika Romanou, Clémentine Fourrier, David I. Adelani, Jian Gang Ngui, Daniel Vila-Suero, Peerat Limkonchotiwat, Kelly Marchisio, Wei Qi Leong, Yosephine Susanto, Raymond Ng, Shayne Longpre, Wei-Yin Ko, Madeline Smith, Antoine Bosselut 외 8명

제출 2024-12-04

원문 초록

Cultural biases in multilingual datasets pose significant challenges for their effectiveness as global benchmarks. These biases stem not only from language but also from the cultural knowledge required to interpret questions, reducing the practical utility of translated datasets like MMLU. Furthermore, translation often introduces artifacts that can distort the meaning or clarity of questions in the target language. A common practice in multilingual evaluation is to rely on machine-translated evaluation sets, but simply translating a dataset is insufficient to address these challenges. In this work, we trace the impact of both of these issues on multilingual evaluations and ensuing model performances. Our large-scale evaluation of state-of-the-art open and proprietary models illustrates that progress on MMLU depends heavily on learning Western-centric concepts, with 28% of all questions requiring culturally sensitive knowledge. Moreover, for questions requiring geographic knowledge, an astounding 84.9% focus on either North American or European regions. Rankings of model evaluations change depending on whether they are evaluated on the full portion or the subset of questions annotated as culturally sensitive, showing the distortion to model rankings when blindly relying on translated MMLU. We release Global-MMLU, an improved MMLU with evaluation coverage across 42 languages -- with improved overall quality by engaging with compensated professional and community annotators to verify translation quality while also rigorously evaluating cultural biases present in the original dataset. This comprehensive Global-MMLU set also includes designated subsets labeled as culturally sensitive and culturally agnostic to allow for more holistic, complete evaluation.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2507.06187cs.AI공통 태그 MMLU공식 코드 · Papers with Code

The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains

언어 모델의 성능 향상은 종종 학습에 사용하는 데이터의 품질 개선에 의해 이루어지며, 강력한 감독 신호가 부족할 때에는 한계가 있을 수 있습니다. 본 연구에서는 개별적으로는 약한 데이터 포인트로 구성된 쌍으로 된 선호도 데이터가 각 데이터 포인트의 강도를 넘어서는 성능 향상을 가능하게 함을 보여줍니다. 우리는 이 현상을 설명하기 위해 델타 학습 가설(delta learning hypothesis)을 제시하는데, 이는 약한 데이터에 대한 감독 미세조정이 오히려 성능을 저해할 때에도, 데이터 포인트 간 상대적 품질 차이(delta)가 선호도 튜닝을 통한 학습을 촉진하기에 충분하다는 가정입니다. 본 가설은 통제된 실험과 대규모 실험에서 검증되었으며, 여기서 우리는 8B 모델을 소규모 3B 모델의 응답과 더 작은 1.5B 모델의 출력을 쌍으로 하여 의미 있는 델타를 생성한 선호도 데이터로 후학습(post-training)하였습니다. 특히, 표준 11개 벤치마크 평가 세트(MATH, MMLU 등)에서 본 간단한 방법은 동일한 기반 모델에서 튜닝된 최첨단 공개 모델인 Tulu 3의 성능과 맞먹으며, Tulu 3는 훨씬 강력한 감독자(e.g., GPT-4o)를 활용합니다. 따라서 델타 학습은 최첨단 후학습을 위한 더 간단하고 저렴한 공개 레시피를 가능하게 합니다. 델타 학습을 더 잘 이해하기 위해, 우리는 로지스틱 회귀(logistic regression)에서 두 약한 교사 모델 간의 성능 격차가 더 강한 학생 모델 개선에 유용한 신호임을 증명하였습니다. 종합적으로, 본 연구는 일반적으로 약하다고 여겨질 수 있는 쌍으로 된 데이터로부터도 모델이 놀라울 정도로 잘 학습할 수 있음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.