arXiv:1907.01752

On the Weaknesses of Reinforcement Learning for Neural Machine Translation

Leshem Choshen, Lior Fox, Zohar Aizenbud, Omri Abend

제출 2019-07-03

원문 초록

Reinforcement learning (RL) is frequently used to increase performance in text generation tasks, including machine translation (MT), notably through the use of Minimum Risk Training (MRT) and Generative Adversarial Networks (GAN). However, little is known about what and how these methods learn in the context of MT. We prove that one of the most common RL methods for MT does not optimize the expected reward, as well as show that other methods take an infeasibly long time to converge. In fact, our results suggest that RL practices in MT are likely to improve performance only where the pre-trained parameters are already close to yielding the correct translation. Our findings further suggest that observed gains may be due to effects unrelated to the training signal, but rather from changes in the shape of the distribution curve.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26536v1cs.CL공통 태그 Machine Translation, Translation, Reinforcement Learning

전사, 번역, 최적화: 음성 번역을 위한 공동 보상 학습

Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation

LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.

arXiv:2609.26347v2cs.CL공통 태그 Machine Translation, Translation

TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크

TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling

전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.

arXiv:2609.27374v1cs.CL공통 태그 Reinforcement Learning, Text Generation

조율된 추론 경로를 활용한 계획 기반 테스트 시점 스케일링

Planned Test-Time Scaling with Coordinated Reasoning Paths

병렬 브랜치를 활용한 테스트 시점 스케일링(test-time scaling)은 어려운 추론 과제의 성능을 향상시키기 위해 널리 채택되고 있다. 가장 널리 쓰이는 접근법인 반복 샘플링(repeated sampling)은 단일 정책에서 브랜치를 독립적으로 추출하기 때문에 중복된 시도가 발생할 수 있으며, 이로 인해 추가 추론 연산으로 얻을 수 있는 이득이 제한된다. 이러한 한계를 해결하기 위해 본 논문은 독립 샘플링을 조율된 결합 정책(joint policy)으로 대체하는 계획 기반 테스트 시점 스케일링(Planned Test-Time Scaling, PTTS)을 제안한다. 플래너(planner)가 각 브랜치에 대한 풀이 개요(outline)를 생성하여 브랜치들이 서로 다른 추론 경로를 향하도록 유도하고, 실행기(executor)가 각 개요를 조건으로 전체 풀이를 생성한다. 형식적으로, 우리는 PTTS가 반복 샘플링을 엄밀하게 일반화하며, 단순화된 설정에서 상호 보완적인 추론 방식(reasoning mode)의 커버리지를 증가시키고 더 나은 pass@k 스케일링을 낳음을 증명한다. 우리는 강력한 추론 모델 위에서 PTTS를 구현하며, 이 모델들을 실행기로 고정한 채 반복 샘플링을 PTTS 추론으로 대체하여 테스트 시점 스케일링을 더욱 향상시킨다. 구체적으로 두 가지 변형을 개발한다. PTTS-ZS는 모델이 단일 자기회귀(autoregressive) 패스에서 모든 브랜치의 개요를 함께 생성하도록 프롬프트하는 방식이며, PTTS-RL은 효율적인 학습과 더 선명한 보상 신호를 위해 절단된 실행 롤아웃(truncated execution rollout)을 사용하여 pass@k 보상에 대해 플래너를 직접 최적화한다. Qwen3-1.7B와 4B를 사용한 다섯 개의 수학적 추론 벤치마크에서, PTTS-ZS는 반복 샘플링 대비 pass@64를 최대 6.7포인트 향상시켰으며, PTTS-RL은 이 향상 폭을 최대 13.4포인트까지 더 늘렸다. 추가 분석은 서로 다른 추론 경로를 더 폭넓게 포괄하는 것이 이러한 성능 향상에 기여함을 보여준다. 종합하면, PTTS는 추론 브랜치를 조율함으로써 테스트 시점 스케일링을 개선하는 범용 프레임워크를 제공하며, 제로샷 방식과 학습 가능한 방식의 구현 모두에서 상당한 성능 향상을 얻는다.

arXiv:2609.27376v1cs.CL공통 태그 Machine Translation, Translation

베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정

Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction

교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.

arXiv:2609.28395v1cs.CL공통 태그 Machine Translation, Translation

번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다

Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following

병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.

arXiv:2609.27572v1cs.LG공통 태그 Reinforcement Learning, Text Generation

DCRL: 정책-보상 매니폴드 정렬을 통한 강화학습의 분리와 결합

DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 패러다임으로 부상했다. 그러나 규칙 기반 및 보상 모델 기반과 같은 기존 보상 시스템은 불안정한 최적화와 보상 해킹(reward hacking) 같은 문제를 자주 보인다. 본 연구에서는 기하학적 관점에서 LLM의 일반 추론을 재검토하고, 이를 논리적 연역, 평가, 표현의 세 가지 상호 의존적 부분 매니폴드(sub-manifold)로 구성된 결합 매니폴드(coupled manifold)로 개념화한다. 이 관점에 따르면 RL에서의 응답 생성은 평가 매니폴드로부터의 분리(decoupling) 과정으로, 보상 추정은 논리적 연역 매니폴드로부터의 분리 과정으로 해석할 수 있다. 규칙 기반 및 보상 모델 RL 시스템의 한계는 RL 과정에서 정책-보상 매니폴드의 불일치로 기하학적으로 해석할 수 있다. 앞서 언급한 정렬 불일치를 해결하기 위해 Decoupling and Coupling Reinforcement Learning(DCRL) 프레임워크를 제안한다. 이는 두 가지 핵심 구성 요소를 포함한다: (1) 보상 매니폴드의 표현력(expressiveness)을 높이기 위해 보상 루브릭을 동적으로 정교화하는 삼단논법(syllogistic logic) 기반 프�mp트 진화 메커니즘; (2) 일관된 평가를 보장하고 학습 중 매니폴드 불일치를 완화하기 위해 보상 모델과 정책 모델을 공동으로 갱신하는 정책-보상 재결합(re-coupling) 메커니즘. 다양한 추론 영역에 걸친 이론 분석과 광범위한 실험은 DCRL이 규칙 기반 및 보상 모델 기준선 모두를 일관되게 능가함을 보여준다. 특히 DCRL로 학습된 Qwen3-4B 모델은 Qwen3-32B 기준선을 넘어서며 Qwen3-235B 모델의 성능에 근접하여, RL에서의 뛰어난 효과와 일반화를 부각한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.