arXiv:1908.11782

Latent Part-of-Speech Sequences for Neural Machine Translation

Xuewen Yang, Yingru Liu, Dongliang Xie, Xin Wang, Niranjan Balasubramanian

제출 2019-08-30

원문 초록

Learning target side syntactic structure has been shown to improve Neural Machine Translation (NMT). However, incorporating syntax through latent variables introduces additional complexity in inference, as the models need to marginalize over the latent syntactic structures. To avoid this, models often resort to greedy search which only allows them to explore a limited portion of the latent space. In this work, we introduce a new latent variable model, LaSyn, that captures the co-dependence between syntax and semantics, while allowing for effective and efficient inference over the latent space. LaSyn decouples direct dependence between successive latent variables, which allows its decoder to exhaustively search through the latent syntactic choices, while keeping decoding speed proportional to the size of the latent variable vocabulary. We implement LaSyn by modifying a transformer-based NMT system and design a neural expectation maximization algorithm that we regularize with part-of-speech information as the latent sequences. Evaluations on four different MT tasks show that incorporating target side syntax with LaSyn improves both translation quality, and also provides an opportunity to improve diversity.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28117v1cs.CL공통 태그 Machine Translation, Decoder, NMT

문맥 인식 기계 번역에서 그래디언트 기반 어트리뷰션을 통한 어텐션 헤드 분석의 확장

Scaling Attention Head Analysis via Gradient-Based Attribution in Context-Aware Machine Translation

본 논문에서는 토큰 수준 최대 마진(Token-level Max-Margin) 손실을 어텐션 맵으로 역전파하는 그래디언트 기반 헤드 어트리뷰션(attribution) 전략을 제안한다. 이 프레임워크는 어텐션 헤드에 대한 대규모 인과 분석을 가능하게 하여 LLM에도 적용하기에 적합하다. 우리는 문맥 인식 기계 번역(Context-aware Machine Translation)의 중의성 해소(disambiguation) 과제에서 제안 방법을 평가하며, 4개 모델과 4개 언어 방향에 걸쳐 50가지 현상을 분석한다. 또한 세 개의 모델과 두 개의 언어 방향에서, 토큰 간 관계에 대한 어텐션 점수를 높였을 때의 효과와 제안 방법이 일치함을 실험적으로 보여 주며, 이를 통해 방법의 견고성을 확보한다. 분석 결과, 서로 다른 관계에 어텐션을 둘 때 모델의 성능을 향상시키는 "범용(general-purpose)" 어텐션 헤드가 존재함을 확인하였다. 또한 한 헤드가 특정 관계에 할당하는 평균 어텐션이 반드시 모델의 성능과 관련되는 것은 아님을 발견하였으며, 이는 모델이 학습 과정에서 헤드 기능 측면의 중복성(redundancy)을 형성했음을 시사한다.

arXiv:2609.28395v1cs.CL공통 태그 Machine Translation, Translation, NMT

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2607.22300v1cs.CL공통 태그 Machine Translation, Decoder, NMT

교차언어 전이와 LoRA 어댑터 병합을 통한 저자원 아랍 문자 언어의 생의학 기계 번역

Biomedical Machine Translation for Low-Resource Arabic-Script Languages via Cross-Lingual Transfer and LoRA Adapter Merging

우리는 아랍 문자 언어에 대한 생의학 NMT(신경망 기계 번역) 자원 부족 문제를 해결하기 위해 의료 도메인 교차언어 전이에 대한 체계적 연구를 제시한다. 아랍어와 페르시아어를 고자원 피벗(pivot)으로 사용하여 \textbf{극히 저자원인} 네 가지 목표 언어—다리(Dari, 아프ghan Persian, 페르시아어의 표준화 변종), 파슈토어(Pashto), 소라니 쿠르드어(Sorani Kurdish, 중부 쿠르드어, 쿠르드어의 주요 표준화 변종), 우르두어(Urdu, 힌디어와 밀접하게 관련됨)—의 번역을 개선한다. 소형 디코더 전용 LLM에 LoRA 미세조정을 적용하여 \textit{도메인 특화 피벗 어댑터}를 학습하고 \textbf{세 가지 전이 전략}—퓨샷(few-shot) 문맥 내 학습(ICL), 최소 감독 적응(supervised adaptation), 그리고 우리가 아는 한 본 설정에서 최초로, 데이터 없는(zero-data) LoRA 어댑터 병합—을 평가한다. 단 500문장으로 수행한 감독 적응은 다리어에서 피벗 언어 수준에 근접한 품질(CHrF++ 41.01)을 달성하고 우르두어에서도 의미 있는 향상(28.88)을 보이며, 어댑터 병합은 추가 비용 없이 다리어에서 감독 적응 대비 CHrF++ 3.5 이내의 성능에 도달한다. 파슈토어와 소라니 쿠르드어는 고위험 임상 배포에는 여전히 불충분하며, 피벗과의 구조적 거리가 너무 클 때 교차언어 전이의 한계를 드러낸다. LoRA 어댑터 병합은 목표 언어의 생의학 데이터가 없더라도 밀접하게 관련된 언어에서 놀랍도록 잘 작동한다.

arXiv:2607.20791v2cs.AI공통 태그 Decoder, Diversity

거절 게이트 디코딩: 고온 샘플링 환경에서 거절 동작 보존

Refusal-Gated Decoding: Preserving Refusal Behavior Under High-Temperature Sampling

절단 기반(truncation-based) 샘플링의 최근 발전은 신경망 텍스트 퇴화와 같은 고온(high-temperature) 샘플링의 단점을 완화하는 데 기여하여, 일관성을 해치지 않으면서도 더 높은 다양성을 확보할 수 있게 했습니다. 그러나 높은 온도를 통해 토큰 확률 분포의 엔트로피를 높이는 것은 모델의 거절(refusal) 반응을 약화시키는 것으로도 나타났습니다. 대규모 언어 모델(LLM)의 거절 동작을 유지하기 위한 기존 해결책들은 모델 자체의 거절 결정을 별도의 안전성 분류기로 대체하거나, 모든 프롬프트에 대해 출력 분포를 변경합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 최소한의 추가 지연 시간(latency)만을 유발하면서 고온에서도 모델의 그리디 디코딩(greedy decoding) 거절 반응을 보존하고 다른 모든 프롬프트는 원래의 정확한 직접 고온 분포로부터 샘플링하는 효율적인 순차적 디코딩 접근 방식인 거절 게이트 디코딩(Refusal-Gated Decoding, RGD)을 제안합니다. RGD는 프롬프트의 KV 캐시를 재사용하는 짧은 그리디 프로브(probe)를 실행하고, 학습된 거절 접두사 집합과 일치하지 않게 되는 즉시 조기 종료합니다. 프로브가 호환성을 유지하면 그리디 응답을 반환하고, 그렇지 않으면 프로브를 폐기하고 원래 프롬프트로부터 샘플링을 진행합니다. T=2.0에서 7개 모델과 3개 벤치마크 데이터셋에 걸쳐 평가한 결과, RGD는 다양한 온도 조건에서 비거절(non-refusal) 요청의 중앙값 기준 요청당 지연 시간을 2.2~4.3%만 증가시키면서 직접 샘플링 시 91.9%였던 그리디 거절 보존율을 평균 98.3%로 향상시켰습니다. 다수의 그리디 비거절 응답을 그리디 디코딩으로 라우팅하는 프롬프트 필터링(prompt-screening) 베이스라인과 달리, RGD는 그리디 비거절 응답의 98.1% 이상을 변경되지 않은 고온 샘플링으로 유지하여 모델 본래의 고온 샘플링 동작을 보존합니다. 또한 본 연구에서는 유사한 프롬프트 라우팅 정확도를 유지하면서 이러한 지연 시간 오버헤드를 최대 0.5%까지 낮추는 잔차 스트림(residual-stream) 변형 방식도 제안합니다. 본 연구는 고온 샘플링을 통해 더 높은 다양성을 확보하더라도 모델의 거절 동작이 훼손될 필요가 없음을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.