Multilingual Neural Machine Translation with Language Clustering
원문 초록
Multilingual neural machine translation (NMT), which translates multiple languages using a single model, is of great practical importance due to its advantages in simplifying the training process, reducing online maintenance costs, and enhancing low-resource and zero-shot translation. Given there are thousands of languages in the world and some of them are very different, it is extremely burdensome to handle them all in a single model or use a separate model for each language pair. Therefore, given a fixed resource budget, e.g., the number of models, how to determine which languages should be supported by one model is critical to multilingual NMT, which, unfortunately, has been ignored by previous work. In this work, we develop a framework that clusters languages into different groups and trains one multilingual model for each cluster. We study two methods for language clustering: (1) using prior knowledge, where we cluster languages according to language family, and (2) using language embedding, in which we represent each language by an embedding vector and cluster them in the embedding space. In particular, we obtain the embedding vectors of all the languages by training a universal neural machine translation model. Our experiments on 23 languages show that the first clustering method is simple and easy to understand but leading to suboptimal translation accuracy, while the second method sufficiently captures the relationship among languages well and improves the translation accuracy for almost all the languages over baseline methods
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
대규모 언어 모델에서 프롬프트 언어와 번역 이론 기반 프롬프트의 역할: 스페인어-중국어 저널리즘 번역 사례 연구
The Role of Prompt Language and Translation-Theory-Driven Prompts in Large Language Models: A Case Study on Spanish-Chinese Journalistic Translation
본 연구는 프롬프트 언어와 번역 이론 기반 프롬프트 설계가 GPT-5.2가 생성하는 스페인어-중국어 저널리즘 번역의 품질에 미치는 영향을 조사한다. El Pais의 사설 4편으로 구성된 병렬 코퍼스를 48가지 실험 조건(프롬프트 유형 4종, 프롬프트 언어 3종, 기사 4편)에서 번역하였다. 번역 품질은 자동 평가를 위해 BLEU와 BERTScore-F1을 사용하고, 다차원 품질 메트릭(MQM) 프레임워크에 기반한 인간 평가를 병행하였다. 자동 평가 지표는 기준선 프롬프트(BASE)를 최고 성능 조건으로 식별한 반면, 인간 평가에서는 브리프 지향 프롬프트(BRIEF)가 가장 높은 순위를 기록하였다(MQM: 8.66 대 7.84). 이러한 역전 현상은 자동 평가 방식에 내재된 단일 참조 제약에 기인할 가능성이 높다. 하위 오류 유형 분석 결과, 번역 이론 기반 프롬프트는 어색한 문체(Awkward style) 오류를 선택적으로 감소시킨 반면, 비관용적 문체(Unidiomatic style) 오류는 모든 조건에서 지속되었다. 프롬프트 언어는 두 평가 패러다임 모두에서 무시할 수 있는 수준의 영향만 미쳤다. 이러한 결과는 번역 이론 기반 프롬프트가 저널리즘 번역의 전문가 평가에서 측정 가능한 품질 향상을 가져올 수 있음을 시사하지만, 언어 학습자를 위한 교육적 함의는 시사적 수준에 머물며 사용자 기반 연구를 통한 검증이 필요하다.
CoCoNuT: Combining Context-Aware Neural Translation Models using Ensemble for Program Repair
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
CoPiT: 전통 문자 기반 이중 문자 체계 저자원 몽골어를 위한 인지적 피벗 번역
CoPiT: Cognitive Pivot Translation for Digraphic Low-Resource Mongolian in the Traditional Script
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.