arXiv:2009.14824

On Romanization for Model Transfer Between Scripts in Neural Machine Translation

Chantal Amrhein, Rico Sennrich

제출 2020-09-30

원문 초록

Transfer learning is a popular strategy to improve the quality of low-resource machine translation. For an optimal transfer of the embedding layer, the child and parent model should share a substantial part of the vocabulary. This is not the case when transferring to languages with a different script. We explore the benefit of romanization in this scenario. Our results show that romanization entails information loss and is thus not always superior to simpler vocabulary transfer methods, but can improve the transfer between related languages with different scripts. We compare two romanization tools and find that they exhibit different degrees of information loss, which affects translation quality. Finally, we extend romanization to the target side, showing that this can be a successful strategy when coupled with a simple deromanization model.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28395v1cs.CL공통 태그 Machine Translation, Translation, Transfer Learning

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2608.08090v2cs.CL공통 태그 Translation, Transfer Learning

통합 속의 지혜: 속담 내 비유적 언어 식별에서 다국어 학습의 역할

Wisdom in Unity: The Role of Multilingual Training in Figurative Language Identification in Proverbs

비유적 언어 식별에 대한 다국어 접근법은 새롭지 않지만, 단일 언어로 구성된 학습 데이터를 넘어서려면 번역된 다국어 지도(supervision)의 기여에 대한 더 명확한 이해가 필요하다. 본 연구는 7개 언어에 걸쳐 번역된 6,787개 인스턴스를 아우르는 742개의 속담 개념을 사용하여 이 질문을 조사한다. 저자들은 다국어 인코더와 인스트럭션 튜닝(instruction tuning)된 대규모 언어 모델(LLM)을 포함한 5개 모델을 대상으로, 다국어 지도의 수준을 점진적으로 높여 가며 평가한다. 또한 속담을 은유적(Metaphorical), 도덕/조언적(Moral/Advisory), 인과적(Cause-Effect), 문화 특수적(Culture-Specific)이라는 상호 보완적인 네 가지 비유 형태로 특징짓는 속담용 다차원 주석 프레임워크를 제안한다. 연구 결과, 전반적으로 다국어 학습(training) 데이터를 50% 이상 추가할 때 추가적인 성능 향상은 제한적이었으나, 최적의 지도 수준은 모델(model)과 언어에 따라 상이했다. 또한 다양한 비유 형태를 결합할 때 전반적인 성능이 가장 높게 나타남을 보인다. 주목할 만한 발견은 발생 빈도가 가장 낮은 비유 형태인 문화 특수적 형태가 다국어 지도 하에서 가장 큰 성능 향상을 보였다는 점이다. 나아가 속담의 도덕/조언적 형태와 문화 특수적 형태는 인스트럭션 튜닝된 LLM의 전반적인 비유 식별 성능에 더 크게 기여한다. 이러한 결과는 다국어 비유 식별 연구가 은유 중심의 분류 체계를 넘어, 문맥을 대표하는 상호 보완적인 비유적 의미 형태를 명시적으로 모델링하는 개념 수준의 다차원 프레임워크로 나아가도록 동기를 부여한다.

arXiv:2609.26347v2cs.CL공통 태그 Machine Translation, Translation

TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크

TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling

전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.

arXiv:2609.27376v1cs.CL공통 태그 Machine Translation, Translation

베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정

Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction

교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.

arXiv:2609.27758v1cs.CL공통 태그 Translation, Transfer Learning

Hard Negatives Reveal What Easy Negatives Hide: Cross-Lingual Harmfulness Representations Degrade with Resource Tier Under Hard Negatives

대규모 언어 모델(LLM)의 안전성 정렬(alignment)은 주로 영어로 학습되며, 최근 연구는 번역 후에도 기저의 유해성 표현이 유지된다고 보고한다. 영어로 학습된 프로브(probe)는 저자원 언어에서도 영어와 거의 동일하게 유해한 프롬프트와 무해한 프롬프트를 구분한다. 이는 다국어 거부(refusal) 실패가 표현 품질보다는 보정(calibration) 문제를 주로 반영한다는 증거로 해석되어 왔다. 우리는 이 결론이 부정 예(negative) 선택에 의존함을 보인다. 세 자원 등급에 걸친 아홉 개 언어에서, 무해한 프롬프트가 무관한 분포에서 온 경우(쉬운 부정 샘플, easy negatives)에는 전이가 거의 완벽함(AUROC > 0.98)을 재현한다. 유해 요청과 표면적으로 유사하지만 실제로는 무해한 XSTest 대조 프롬프트(어려운 부정 샘플, hard negatives)를 사용하면, 저자원 언어에서는 전이가 붕괴하는 반면 고자원 언어에서는 대체로 안정적이다. Qwen2.5-7B-Instruct에서 평균 AUROC 하락은 영어 0.003, 고자원 0.017, 중간 자원 0.042, 저자원 0.276까지 증가한다. 이 패턴은 Aya Expanse에서도 재현된다. 역번역 chrF 통제와 세 언어에 걸친 chrF 매칭 비교는 번역 품질이 효과를 설명할 가능성을 낮춘다. chrF를 통제한 뒤에도 붕괴는 남으며(partial r = 0.70, p = 0.03). 토크나이저 fertility는 붕괴와 상관하며 자원 등급 효과의 일부를 설명하지만 전부는 아니다. 결과는 쉬운 부정 샘플에서의 전이와 어려운 부정 샘플 하의 상당한 퇴화가 공존할 수 있음을 보여준다. 따라서 쉬운 부정 샘플만으로 평가하는 것만으로는 유해성 표현이 번역을 견디는지 확립할 수 없다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.