Inducing Constituency Trees through Neural Machine Translation
원문 초록
Latent tree learning(LTL) methods learn to parse sentences using only indirect supervision from a downstream task. Recent advances in latent tree learning have made it possible to recover moderately high quality tree structures by training with language modeling or auto-encoding objectives. In this work, we explore the hypothesis that decoding in machine translation, as a conditional language modeling task, will produce better tree structures since it offers a similar training signal as language modeling, but with more semantic signal. We adapt two existing latent-tree language models--PRPN andON-LSTM--for use in translation. We find that they indeed recover trees that are better in F1 score than those seen in language modeling on WSJ test set, while maintaining strong translation quality. We observe that translation is a better objective than language modeling for inducing trees, marking the first success at latent tree learning using a machine translation objective. Additionally, our findings suggest that, although translation provides better signal for inducing trees than language modeling, translation models can perform well without exploiting the latent tree structure.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
TransBERT: 도메인 특화 언어 모델링을 위한 합성 번역 프레임워크
TransBERT: A Framework for Synthetic Translation in Domain-Specific Language Modeling
전문 도메인에서 비영어권 언어 데이터가 부족하다는 점은 효과적인 자연어 처리(NLP) 도구의 개발을 크게 제한한다. 본 논문에서는 오직 합성 번역된 텍스트만을 사용하여 언어 모델을 사전학습하는 새로운 프레임워크인 TransBERT를 제시하고, 확장 가능한 번역 툴킷인 TransCorpus를 함께 소개한다. 프랑스어 생명과학 도메인에 초점을 맞춘 본 접근법은, 합성 번역 데이터만을 활용하여도 다양한 다운스트림 태스크에서 최고 수준(state-of-the-art)의 성능을 달성할 수 있음을 보여준다. 우리는 TransCorpus 툴킷, TransCorpus-bio-fr 코퍼스(36.4GB 분량의 프랑스어 생명과학 텍스트), 이와 연관된 사전학습 언어 모델인 TransBERT-bio-fr, 그리고 사전학습과 미세조정 모두를 위한 재현 가능한 코드를 공개한다. 본 연구의 결과는 자원이 풍부한 번역 방향에서의 합성 번역이, 저자원 언어/도메인 쌍에서 고품질 NLP 자원을 구축하는 데 실효성이 있음을 보여준다.
베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정
Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction
교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.
번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
전사, 번역, 최적화: 음성 번역을 위한 공동 보상 학습
Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation
LLM 기반 음성 번역에서 전사 기반 사고의 연쇄(CoT)는 지도 미세조정(SFT)에 사용되는 참조 전사와 추론 시 모델이 생성하는 전사 간 불일치로 인해 어려움이 있다. 이를 해결하기 위해 그룹 상대 정책 최적화(GRPO)를 통한 공동 인식 및 번역 미세조정을 제안한다. 전사와 번역 모두에 점수를 부여하며, 번역은 모델이 생성한 전사에 조건화한다. 세 가지 토큰 advantage 전략을 비교한다. Qwen2.5-Omni-3B를 네 개 언어에 걸쳐 사용하여, SFT와 GRPO 하에서 CoT를 직접 음성 번역(Direct ST)과 비교 평가한다. CoVoST 2에서 학습하고 CoVoST 2와 FLEURS에서 테스트한다. CoT GRPO는 CoVoST 2와 FLEURS에서 Direct ST GRPO보다 평균 BLEU가 각각 1.77점 및 0.83점 높다. CoT SFT 대비 GRPO는 BLEU를 0.82점 및 0.67점 향상시키고 단어 오류율(WER)을 상대적으로 8.8% 및 7.2% 감소시킨다. 이러한 결과는 강화 미세조정이 학습-추론 불일치를 완화하고 인식과 번역을 공동으로 개선하는 효과적인 방법임을 보여준다.
소형 모델은 제공한 법률을 실제로 활용하는가? 방글라데시 법률 QA를 위한 컨텍스트 주입 미세조정
Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh
소형 언어 모델은 관련 법 조항을 제공받아도 여전히 잘못된 답을 할 수 있다. 우리는 관련 법률이 포함된 예시에 대한 미세조정이 이후 검색된 법률의 활용을 개선하는지 검증한다. 방글라데시 법률 6개와 부칙 3개에서 2,165건의 이중언어 QA 레코드를 구축한 뒤, Qwen3.5 0.8B, 2B, 4B 규모에서 미세조정한다. 평가는 2022년 및 2023년 방글라데시 변호사협회 시험 문제를 벵골어 원문과 기계 번역 영어로 사용하며, 검색(retrieval), BM25, FAISS 없이 세 번의 시드 고정 실행에 대한 엄격한 일관성으로 채점한다. 0.8B에서는 미세조정으로 2022 영어 FAISS 점수가 100점 만점에 2점에서 34점으로 상승한다. 0.8B와 2B에서의 이득은 대응 검정(paired testing)을 통과하지만, 4B 모델에서는 관측 가능한 순이득이 없다. 벵골어 성능은 개선되는 반면 여러 영어 조건에서는 후퇴한다. 미세조정은 또한 벵골어로 요청했음에도 답변이 대부분 영어로 흐르는 비율을 44.0–53.2%에서 0.2–0.7%로 줄이며, 모든 규모에서 보정 p<.001이다. 따라서 검색 품질만이 병목은 아니다. 소형 이중언어 법률 모델은 제공된 법률을 어떻게 활용하는지, 그리고 요청된 언어로 답하는지 여부에서도 차이를 보인다. 데이터셋은 https://huggingface.co/datasets/momahadi/bangladesh-legal-qa-dataset 에서 공개된다.
늙은 개도 새로운 기술을 배울 수 있을까? LLM을 문장 수준 번역 너머로
Can an Old Dog Be Taught New Tricks? Taking LLMs Beyond Sentence Level Translation
CAT 도구부터 MT(기계번역)에 이르는 자동 번역 시스템은 대부분 번역을 문장 단위 작업으로 취급한다. 본 논문은 전체 문서, 말뭉치 기반 번역을 통해 LLM을 그 패러다임 너머로 이동시킬 수 있는지 묻는다. 우리는 PAT(Pragmatic Auto-Translator)를 제시한다. 이는 검색-증강 생성(RAG) 기반 시스템으로, 사용자가 구성한 사양을 미국 영어와 라틴아메리카 스페인어로 된 실제 장문 텍스트의 비교 말뭉치에서 얻은 문맥과 결합하고, 검색된 단락·절·문서 수준 예시를 LLM에 전달하여 전체 문서를 생성한다. 목표는 전문가 검증을 위한 초안 번역이다. 담화 구성, 수사적 문체, 화용적 규범이 영어와 의미 있게 다른 스페인어권 맥락에 맞게 목표 텍스트를 재구성하는 것이다. 생성 AI에 관한 에세이의 자동 번역 6건을 세 프로젝트에 걸쳐 맞춤 MQM 분류체계를 사용하여 평가했으며, 미국 영어에서 LATAM 및 멕시코 스페인어로 번역하는 두 명의 훈련된 평가자가 평가했다. 결과는 제한된 프롬프트가 의미 있는 재구성을 만들어내지 못했고, 사양 및 말뭉치 기반 번역은 때로 상당한 재구성을 보였으나 항상 효과적인 것은 아니었음을 보여준다. LLM을 재구성 쪽으로, 문장 단위 패러다임에서 벗어나게 이동시킬 수 있으나, 그 재구성의 효과를 높이기 위해 더 많은 연구가 필요함을 확인한다. 본 논문에서는 자동 번역 시스템 설계, 말뭉치 구축, 번역 품질 평가 방법론 및 결과와 관련된 고려 사항을 논의한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.