arXiv:1904.02461

ReWE: Regressing Word Embeddings for Regularization of Neural Machine Translation Systems

Inigo Jauregi Unanue, Ehsan Zare Borzeshi, Nazanin Esmaili, Massimo Piccardi

제출 2019-04-04

원문 초록

Regularization of neural machine translation is still a significant problem, especially in low-resource settings. To mollify this problem, we propose regressing word embeddings (ReWE) as a new regularization technique in a system that is jointly trained to predict the next word in the translation (categorical value) and its word embedding (continuous value). Such a joint training allows the proposed system to learn the distributional properties represented by the word embeddings, empirically improving the generalization to unseen sentences. Experiments over three translation datasets have showed a consistent improvement over a strong baseline, ranging between 0.91 and 2.54 BLEU points, and also a marked improvement over a state-of-the-art system.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.03836v2cs.CV공통 태그 Machine Translation, Translation

단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가

When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts

기계 번역의 눈부신 발전에도 불구하고, 비전 언어 모델(VLM)은 저자원 음역, 고어 어휘, 잡음이 섞인 입력 신호와 같은 핵심 자연어 처리(NLP) 역량을 시험하는 영역인 역사 필사본에서 어려움을 겪는다. 본 연구는 필경사의 약기, 합자, 양피지 훼손으로 인해 깨끗한 텍스트 벤치마크에서는 드러나지 않는 실패 양상이 나타나는 중세 라틴어 필사본을 대상으로, 이미지에서 번역에 이르는 전체 파이프라인을 평가하는 체계적 프레임워크를 제시한다. CATMuS Latin 데이터셋에서의 벤치마킹은 전문화 격차를 보여 준다. 도메인 특화 광학 문자 인식(OCR) 모델은 파라미터 수가 수십~수천 배 적음에도 범용 VLM에 비해 문자 오류율을 최대 4.3$\times$ 낮춘다. 또한 정렬된 필사본 이미지 행, 전사문, 전문가 번역 1,383건으로 구성된 새로운 데이터셋 Interpres-Parallel-Corpus(IPC)를 소개하며, 이는 우리가 아는 한 중세 라틴어 분야 최초이다. 실험은 복잡성 역설을 보여 준다. 특화된 OCR 모델이 VLM에 직접 입력되는 가장 단순한 파이프라인이 모든 다중 구성요소 변형보다 우수하다. 검색 증강 생성(RAG)이나 OCR 후 교정을 추가하면 프롬프트 포화와 오류 전파가 발생하여 전체 번역 품질이 저하된다. 이러한 결과는 새로운 벤치마크와 함께 저자원 역사 환경에서 번역 시스템을 배치하기 위한 실용적 지침을 제공한다.

arXiv:2607.05849v2cs.CL공통 태그 Machine Translation, Translation

CoPiT: 전통 문자 기반 이중 문자 체계 저자원 몽골어를 위한 인지적 피벗 번역

CoPiT: Cognitive Pivot Translation for Digraphic Low-Resource Mongolian in the Traditional Script

저자원 언어는 기계 번역에서 여전히 어려운 과제이며, 몽골어는 대표적인 사례이다. 몽골어는 두 가지 문자 체계를 쓰는 언어로서 키릴 문자와 전통 문자로 모두 표기되는데, 두 문자 간 데이터 가용성에 심각한 불균형이 있다. 키릴 문자는 상대적으로 자원이 풍부하지만, 전통 문자는 데이터가 극히 부족하고 표기상 모호하여 직접 번역에서 상당한 성능 저하가 발생한다. 우리는 이러한 내부 자원 위계를 활용하여 키릴 문자를 경유해 번역하는, 인지적 동기에 기반한 피벗 기반 번역 파이프라인 CoPiT를 제안한다. 이 파이프라인은 번역에 앞서 전통 문자에서 문자로 인해 발생하는 모호성을 명시적으로 해소하여, 더 안정적이고 정확한 의미 전달을 가능하게 한다. 여러 백본 모델과 목표 언어에 걸쳐 CoPiT는 대체로 직접 번역보다 향상되었으며, BLEU의 절대적 향상이 상당하고 COMET에서는 최대 1.5~1.6배의 향상을 보였다. 이러한 향상 덕분에 강력한 오픈소스 모델이 비교 가능한 평가 설정에서 GPT-4.1과 대등하거나 그보다 우수한 성능을 낼 수 있다. 추론 시점의 개선을 넘어, CoPiT는 전통 문자 텍스트로부터 직접 합성 병렬 데이터를 구축할 수 있게 하여 현실적인 저자원 시나리오에서 데이터 부족을 완화한다. 우리는 두 문자의 몽골어와 영어, 한국어, 러시아어를 포괄하는 새로운 다중 문자 병렬 데이터셋을 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.