arXiv:1909.00531

Improving Context-aware Neural Machine Translation with Target-side Context

Hayahide Yamagishi, Mamoru Komachi

제출 2019-09-02

원문 초록

In recent years, several studies on neural machine translation (NMT) have attempted to use document-level context by using a multi-encoder and two attention mechanisms to read the current and previous sentences to incorporate the context of the previous sentences. These studies concluded that the target-side context is less useful than the source-side context. However, we considered that the reason why the target-side context is less useful lies in the architecture used to model these contexts. Therefore, in this study, we investigate how the target-side context can improve context-aware neural machine translation. We propose a weight sharing method wherein NMT saves decoder states and calculates an attention vector using the saved states when translating a current sentence. Our experiments show that the target-side context is also useful if we plug it into NMT as the decoder state when translating a previous sentence.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28117v1cs.CL공통 태그 Machine Translation, Decoder, NMT

문맥 인식 기계 번역에서 그래디언트 기반 어트리뷰션을 통한 어텐션 헤드 분석의 확장

Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation

본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.

arXiv:2609.28395v1cs.CL공통 태그 Machine Translation, Translation, NMT

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2607.22300v1cs.CL공통 태그 Machine Translation, Decoder, NMT

교차언어 전이와 LoRA 어댑터 병합을 통한 저자원 아랍 문자 언어의 생의학 기계 번역

Biomedical Machine Translation for Low-Resource Arabic-Script Languages via Cross-Lingual Transfer and LoRA Adapter Merging

우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.

arXiv:2607.13158v1cs.CL공통 태그 Machine Translation, Translation, Decoder

동시 음성 번역에서 LLM에 아키텍처 변경이 필요한가? Prefix-to-Prefix 데이터 기반 접근법

Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach

동시 음성 번역(SimulST)은 엄격한 지연 시간 제약 하에서 점진적 번역을 요구하지만, 제한된 문맥과 언어 간 재배열로 인해 디코더 전용 LLM 시스템에게 여전히 어려운 과제로 남아 있다. 최근 접근법들은 출력 타이밍을 제어하기 위해 아키텍처 변경이나 명시적인 read/write 정책을 도입하는 경우가 많으며, 이는 분할 경계가 모호한 대화형 음성에서는 취약할 수 있다. 우리는 간단한 데이터 기반 대안을 제안한다: 되감기(rewind) 기반 확정 접두 문맥을 갖춘 누적 스트리밍 디코딩을 위한 고정 길이 청크, 그리고 미세조정을 위한 유한 대기(bounded waiting)가 적용된 교사 라벨 접두 문맥 대 접두 문맥(P2P) 타깃으로, 이를 통해 CSSEL-P2P를 만든다. CSSEL은 우리가 제안한 chunked streaming speech encoder LLM이다. 사내 대화형 음성 평가에서 CSSEL-P2P는 유사한 지연(+0.15s Average Lagging)에서 CSSEL 스트리밍 기준선 대비 스트리밍 품질을 COMETKiwi +1.54만큼 향상시켰으며, P2P supervision을 통한 아키텍처 변경 없이도 효과적인 SimulST가 가능함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.