arXiv:2106.03717

Diverse Pretrained Context Encodings Improve Document Translation

Domenic Donato, Lei Yu, Chris Dyer

제출 2021-06-07

원문 초록

We propose a new architecture for adapting a sentence-level sequence-to-sequence transformer by incorporating multiple pretrained document context signals and assess the impact on translation performance of (1) different pretraining approaches for generating these signals, (2) the quantity of parallel data for which document context is available, and (3) conditioning on source, target, or source and target contexts. Experiments on the NIST Chinese-English, and IWSLT and WMT English-German tasks support four general conclusions: that using pretrained context representations markedly improves sample efficiency, that adequate parallel data resources are crucial for learning to use document context, that jointly conditioning on multiple context representations outperforms any single representation, and that source context is more valuable for translation performance than target side context. Our best multi-context model consistently outperforms the best existing context-aware transformers.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.03022v1cs.CV공통 태그 Translation, Sentence

ReSCUE: 분절되지 않은 장문 동시 수어 번역을 위한 문장 확정 기반 재번역 기법

ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation

동시 수어 번역(Simultaneous Sign Language Translation, SLT)은 실시간 소통에 매우 중요하지만, 기존 방법들은 사전 분절된 입력을 가정하는 문장 단위의 오프라인 환경에 대체로 국한되어 있습니다. 이러한 가정은 연속적이고 분절되지 않은 비디오 스트림이 수반되는 실제 환경에서의 배포를 저해합니다. 본 논문에서는 실제 스트리밍 환경에 맞추어 학습(training)과 추론(inference)을 정렬하는, 분절되지 않은 장문 수어 비디오 대상의 동시 SLT를 위한 통합 프레임워크인 ReSCUE를 제시합니다. ReSCUE는 부분적 입력, 비수어 휴지기, 다중 문장 문맥을 처리하기 위한 추론 인지 학습, 출력 깜빡임(flicker)을 줄이면서도 수정 가능한 예측을 통해 저지연을 가능하게 하는 안정화된 재번역, 그리고 온라인 분절 및 메모리 관리를 위한 문장 확정(sentence commitment) 메커니즘을 결합합니다. 표준 문장 단위 벤치마크에서의 실험 결과, ReSCUE는 저지연 환경에서 더 낮은 지연 시간과 최고의 번역 품질을 달성함을 보여줍니다. 또한 분절되지 않은 장문 데이터셋에서 ReSCUE는 정답(ground-truth) 문장 경계를 사용하는 오라클 오프라인 시스템의 번역 품질에 근접하면서도 훨씬 낮은 지연 시간으로 동작하여, 실제 스트리밍 시나리오에서의 실용성을 입증합니다.

arXiv:2607.14040v1cs.CL공통 태그 Translation, Document Translation

늙은 개도 새로운 기술을 배울 수 있을까? LLM을 문장 수준 번역 너머로

Can an Old Dog Be Taught New Tricks? Taking LLMs Beyond Sentence Level Translation

CAT 도구부터 MT(기계번역)에 이르는 자동 번역 시스템은 대부분 번역을 문장 단위 작업으로 취급한다. 본 논문은 전체 문서, 말뭉치 기반 번역을 통해 LLM을 그 패러다임 너머로 이동시킬 수 있는지 묻는다. 우리는 PAT(Pragmatic Auto-Translator)를 제시한다. 이는 검색-증강 생성(RAG) 기반 시스템으로, 사용자가 구성한 사양을 미국 영어와 라틴아메리카 스페인어로 된 실제 장문 텍스트의 비교 말뭉치에서 얻은 문맥과 결합하고, 검색된 단락·절·문서 수준 예시를 LLM에 전달하여 전체 문서를 생성한다. 목표는 전문가 검증을 위한 초안 번역이다. 담화 구성, 수사적 문체, 화용적 규범이 영어와 의미 있게 다른 스페인어권 맥락에 맞게 목표 텍스트를 재구성하는 것이다. 생성 AI에 관한 에세이의 자동 번역 6건을 세 프로젝트에 걸쳐 맞춤 MQM 분류체계를 사용하여 평가했으며, 미국 영어에서 LATAM 및 멕시코 스페인어로 번역하는 두 명의 훈련된 평가자가 평가했다. 결과는 제한된 프롬프트가 의미 있는 재구성을 만들어내지 못했고, 사양 및 말뭉치 기반 번역은 때로 상당한 재구성을 보였으나 항상 효과적인 것은 아니었음을 보여준다. LLM을 재구성 쪽으로, 문장 단위 패러다임에서 벗어나게 이동시킬 수 있으나, 그 재구성의 효과를 높이기 위해 더 많은 연구가 필요함을 확인한다. 본 논문에서는 자동 번역 시스템 설계, 말뭉치 구축, 번역 품질 평가 방법론 및 결과와 관련된 고려 사항을 논의한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.