arXiv:2611.24588v1 cs.CL

영어-아랍어 번역에는 대규모 언어 모델과 AI 에이전트 중 무엇이 적합한가? WikiEn-Ar190에 대한 평가

Large Language Models or AI Agents for English to Arabic Translation? An assessment on WikiEn-Ar190

Fatima Zahra Iguenfer, Yousra Chtouki

제출 2026-11-19

한국어 초록

본 연구는 저자원 언어로 간주되는 아랍어로의 영어 번역에서 대규모 언어 모델과 자율 AI 에이전트 중 어느 쪽이 더 나은 성능을 보이는지 조사한다. 저자들은 18개 분야에서 신중하게 선별한 위키백과 문서 190편으로 구성된 새로운 데이터셋 WikiEn-Ar190을 소개한다. 이 데이터셋은 의미와 문체를 모두 정확하게 반영하도록 아랍어 원어민 두 명이 작성하고 검증하였다. 본 연구는 이 데이터셋을 사용하여 GPT-5-mini를 독립적인 신경망 번역기로 사용한 경우와 자기 평가 및 개선을 포함하는 더 복잡한 프로세스 안에서 사용한 경우의 번역 품질을 평가한다. 단독 모델로서 GPT-5-mini는 매우 유창한 번역을 생성하였으며, COMET 점수 0.8649를 달성하고 적절성, 유창성, 문체에 대해 높은 인간 평가 점수(5점 만점에 평균 4.53)를 받았다. 번역과 자기 평가를 결합한 시스템에서 사용했을 때는 유사한 수준의 의미 품질을 유지하면서 어휘 정확도가 28.76% 향상되었다(BLEU 점수 22.83). 이러한 결과는 자율적 추론을 활용하는 방법이 자원이 제한된 언어 쌍의 번역 일관성을 향상시킬 수 있음을 보여 준다. 결과를 넘어, 이 접근법은 번역을 평가하고 개선하기 위한 프레임워크를 제공하며, 이를 보조 도구로 활용하여 아랍어와 같은 저자원 언어의 웹상 표현을 확대하는 데 쓰일 가능성이 있다.

원문 초록

This research investigates whether a large language model or an autonomous AI Agent performs better at translating from English to Arabic, which is considered a low-resource language. The authors introduce WikiEn-Ar190, a new dataset of 190 carefully selected Wikipedia articles from 18 different areas, which were created and verified by two native Arabic speakers to ensure that they accurately reflect both meaning and style. Using this dataset, the study evaluates the translation quality of GPT-5-mini both as an independent neural translator and when used within a more complex process that includes self-assessment and improvement. As a standalone model, GPT-5-mini produced very fluent translations , achieving a COMET score of 0.8649 and receiving high human scores for adequacy, fluency, and style (averaging 4.53 out of 5). When used in a system that combined translation with self-assessment, it improved lexical accuracy by 28.76% (BLEU score of 22.83) while maintaining a similar level of semantic quality. These findings show that methods involving autonomous reasoning can improve translation consistency for language pairs with limited resources. Beyond the results, the approach offers a framework for evaluating and improving translations, potentially using them as assisting tools to expand the representation of low resource languages, such as Arabic, on the web.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24588v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.