Simple and Effective Noisy Channel Modeling for Neural Machine Translation
원문 초록
Previous work on neural noisy channel modeling relied on latent variable models that incrementally process the source and target sentence. This makes decoding decisions based on partial source prefixes even though the full source is available. We pursue an alternative approach based on standard sequence to sequence models which utilize the entire source. These models perform remarkably well as channel models, even though they have neither been trained on, nor designed to factor over incomplete target sentences. Experiments with neural language models trained on billions of words show that noisy channel models can outperform a direct model by up to 3.2 BLEU on WMT'17 German-English translation. We evaluate on four language-pairs and our channel models consistently outperform strong alternatives such right-to-left reranking models and ensembles of direct models.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
The Grammar Does the Work: Functional vs. Lexical Dependency Length Minimization Across Universal Dependencies
Intrinsic vs. Extrinsic Evaluation of Czech Sentence Embeddings: Semantic Relevance Doesn't Help with MT Evaluation
CycleDistill: Bootstrapping Machine Translation using LLMs with Cyclical Distillation
단순할수록 좋을 때: 중세 라틴어 필사본을 위한 번역 파이프라인 평가
When Simpler Is Better: Evaluating Translation Pipelines for Medieval Latin Manuscripts
CoPiT: 전통 문자 기반 이중 문자 체계 저자원 몽골어를 위한 인지적 피벗 번역
CoPiT: Cognitive Pivot Translation for Digraphic Low-Resource Mongolian in the Traditional Script
ReSCUE: 분절되지 않은 장문 동시 수어 번역을 위한 문장 확정 기반 재번역 기법
ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation
동시 수어 번역(Simultaneous Sign Language Translation, SLT)은 실시간 소통에 매우 중요하지만, 기존 방법들은 사전 분절된 입력을 가정하는 문장 단위의 오프라인 환경에 대체로 국한되어 있습니다. 이러한 가정은 연속적이고 분절되지 않은 비디오 스트림이 수반되는 실제 환경에서의 배포를 저해합니다. 본 논문에서는 실제 스트리밍 환경에 맞추어 학습(training)과 추론(inference)을 정렬하는, 분절되지 않은 장문 수어 비디오 대상의 동시 SLT를 위한 통합 프레임워크인 ReSCUE를 제시합니다. ReSCUE는 부분적 입력, 비수어 휴지기, 다중 문장 문맥을 처리하기 위한 추론 인지 학습, 출력 깜빡임(flicker)을 줄이면서도 수정 가능한 예측을 통해 저지연을 가능하게 하는 안정화된 재번역, 그리고 온라인 분절 및 메모리 관리를 위한 문장 확정(sentence commitment) 메커니즘을 결합합니다. 표준 문장 단위 벤치마크에서의 실험 결과, ReSCUE는 저지연 환경에서 더 낮은 지연 시간과 최고의 번역 품질을 달성함을 보여줍니다. 또한 분절되지 않은 장문 데이터셋에서 ReSCUE는 정답(ground-truth) 문장 경계를 사용하는 오라클 오프라인 시스템의 번역 품질에 근접하면서도 훨씬 낮은 지연 시간으로 동작하여, 실제 스트리밍 시나리오에서의 실용성을 입증합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.