UrduMMLU: 우르두어 이해를 위한 대규모 멀티태스크 벤치마크
UrduMMLU: A Massive Multitask Benchmark for Urdu Language Understanding
의미 있는 다국어 평가는 목표 언어와 교육적 맥락에서 모델을 테스트해야 합니다. 2억 3천만 명 이상이 사용하는 우르두어는 원어민 교육 자료를 기반으로 구축된 포괄적인 MMLU 스타일 벤치마크가 부족합니다. 우리는 원어민 우르두어 MCQ 은행과 공개 시험 PDF에서 수집한 26개 과목과 5개 도메인에 걸친 26,431개의 우르두어 객관식 문제(MCQ)로 구성된 벤치마크인 UrduMMLU를 소개합니다. 번역 기반 리소스와 달리 UrduMMLU는 표준 학문 과목뿐만 아니라 우르두어 및 지역 특화 콘텐츠를 모두 포괄합니다. 우리는 엄격한 합의 필터링을 통한 이중 인간 주석을 통해 시험에서 파생된 부분에 라벨을 지정했습니다. 우리는 영어와 우르두어 프롬프트에서 30개의 대규모 언어 모델(LLM)을 평가하여 60개의 제로샷(zero-shot) 평가를 수행했고, 두 프롬프트 언어 모두에서 다양한 퓨샷(few-shot) 설정 하에 4개의 오픈 소스 LLM을 추가로 평가했습니다. Gemini-3.5-Flash가 가장 좋은 성능을 보여 90.20%와 90.34%의 정확도를 달성했으며, 다른 모델은 85%를 넘지 못했습니다. 가장 강력한 오픈 소스 모델은 각각 7.79점과 8.92점 뒤처졌으며, 많은 모델들은 STEM에 비해 우르두어 중심 인문학 과목에서 25점에서 40점까지 손실을 보았습니다. 퓨샷 프롬프팅은 미미한 향상만을 보였습니다. UrduMMLU는 현재 LLM에서 우르두어 지식이 여전히 고르지 않음을 보여주며, 특히 지역에 기반을 둔 콘텐츠에서 그렇습니다.