arXiv:2006.08881

Scalable Cross Lingual Pivots to Model Pronoun Gender for Translation

Kellie Webster, Emily Pitler

제출 2020-06-16

원문 초록

Machine translation systems with inadequate document understanding can make errors when translating dropped or neutral pronouns into languages with gendered pronouns (e.g., English). Predicting the underlying gender of these pronouns is difficult since it is not marked textually and must instead be inferred from coreferent mentions in the context. We propose a novel cross-lingual pivoting technique for automatically producing high-quality gender labels, and show that this data can be used to fine-tune a BERT classifier with 92% F1 for Spanish dropped feminine pronouns, compared with 30-51% for neural machine translation models and 54-71% for a non-fine-tuned BERT model. We augment a neural machine translation model with labels from our classifier to improve pronoun translation, while still having parallelizable translation models that translate a sentence at a time.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.28796v1cs.CL공통 태그 Machine Translation, Translation, document understanding

다단계 LLM 파이프라인을 통한 구조 보존 문서 번역: 마라티어 사례 연구

Structure-Preserving Document Translation via Multi-Stage LLM Pipeline: A Case Study in Marathi

인도의 정부 문서는 마라티어와 같은 지역 언어로 주로 발행되어, 비원어민 독자, 주(州) 간 행정 기관, 정책 분석가에게 상당한 접근성 장벽을 초래한다. 최근 신경망 기계 번역(machine translation)의 발전으로 문장 수준의 번역 품질이 향상되었지만, 기존 시스템은 대부분 문서 구조, 서식 무결성, 도메인 특화 용어를 무시함으로써 공식 문서에 대한 적용 가능성을 제한하고 있다. 본 논문은 레이아웃 충실도를 유지하면서 엔드-투-엔드 문서 변환을 수행할 수 있는, 구조 보존 방식의 마라티어-영어 정부 문서 번역 프레임워크를 제시한다. 제안된 시스템은 레이아웃 인식 광학 문자 인식(OCR), 좌표 기반 텍스트 추출, 대규모 언어 모델(LLM) 기반 번역, 그리고 HTML 표현을 통한 구조화된 문서 재구성을 통합한다. 공간적 정렬 제약을 적용하고 계층적 문서 요소를 보존함으로써, 본 프레임워크는 원본 문서와 번역 문서 간의 구조적 일관성을 보장한다. 실제 마라티어 정부 PDF에 대한 실험적 평가를 통해, 기존의 텍스트 전용 번역 파이프라인에 비해 구조 보존성, 번역 일관성, 용어 일관성이 향상되었음을 확인하였다. 제안된 프레임워크는 전자 정부(e-governance) 및 행정 문서 처리를 위한 확장 가능한 다국어 접근성 솔루션에 기여한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.