arXiv:2605.30788 cs.CL

XLGoBench: Detecting cross-lingual skill gaps with algorithmic tasks

제출 2026-05-29

한국어 초록

우리는 대규모 언어 모델의 능력에서 나타나는 언어 간 격차를 탐지하기 위해 합성 알고리즘 작업들의 집합을 제안합니다. 우리의 벤치마크는 서로 다른 언어에서 모델이 동일한 기본 작업을 수행해야 하므로 언어 간 비교 가능성이 있고, 각 작업을 다양한 복잡도 수준으로 생성할 수 있어 서로 다른 능력을 지닌 모델에 맞게 확장 가능하며, 모든 작업에 객관적인 정답 개념이 성립하므로 정량화 가능하고, 간단한 템플릿으로 생성되어 번역 오류를 쉽게 감사할 수 있으므로 투명합니다. 우리의 벤치마크는 알고리즘 작업에 초점을 맞추기 때문에, 성능 차이는 언어 간 격차를 나타내는 충분한 조건이기는 하지만 필요조건은 아닙니다. 그럼에도 불구하고, 우리는 광범위한 실험을 통해 우리의 벤치마크가 여러 최신 모델에서 지속적인 언어 간 격차를 드러낸다는 것을 보입니다.

요약

대규모 언어 모델(LLM)의 능력에서 나타나는 다국어 간 격차를 탐지하기 위해 합성 알고리즘 태스크 집합을 소개합니다. 제안된 벤치마크는 각 언어에서 동일한 기본 태스크를 수행하게 하므로 언어 간 비교 가능성이 높습니다. 또한 태스크의 복잡도를 여러 수준으로 생성할 수 있어, 서로 다른 성능 수준의 모델에도 유연하게 적용할 수 있습니다. 모든 태스크는 정답 여부를 객관적으로 판별할 수 있어 정량적 평가가 가능합니다. 아울러 단순한 템플릿으로 생성되므로 번역 오류를 감사하고 검증하기 쉬워 투명성이 높습니다. 이 벤치마크는 알고리즘 태스크에 초점을 맞추기 때문에, 언어별 성능 차이는 다국어 간 격차의 충분한 지표가 되지만 필수 조건은 아닙니다. 그럼에도 광범위한 실험 결과, 여러 최신 모델에서 지속적인 다국어 간 격차가 확인되었습니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.