어떤 토큰이 문맥을 필요로 하는가? 다산도와 엔트로피를 활용한 번역 책임의 참조 기반 분석
Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy
한국어 초록
인간이 번역할 때, 모든 단어가 주변 문맥에 동일하게 의존하지는 않는다. 대명사나 조동사와 같은 기능어는 앞뒤 문장에 크게 의존하는 반면, 고유명사와 같은 토큰은 그렇지 않다. 이러한 내재적 문맥 민감도를 이해하는 것은 기계 번역 시스템이 인간과 유사한 방식으로 문맥을 활용하는지 평가하는 데 필수적이다. 그러나 기존의 문맥 사용 분석 방법은 담화 특화 테스트셋이나 모델 내부 정보에 의존하여 적용 범위가 좁거나 모델 종속적이다. 본 연구는 단어 정렬에서 도출된 두 가지 측도인 다산도(fertility, 소스 토큰당 생성되는 타깃 토큰 수)와 엔트로피(문맥에 걸친 다산도 패턴의 안정성)를 사용하여 어휘 및 통사 수준에서 문맥 민감도를 정량화하는 사후적(post-hoc), 모델 비의존적(model-agnostic) 프레임워크를 제안한다. 네 가지 문맥 조건 하에서 세 가지 언어 쌍(독일어 $\leftrightarrow$ 영어, 영어 $\rightarrow$ 힌디어)에 대한 참조 번역을 활용하여, 문맥이 전체적인 다산도를 변화시키지 않으면서 소스 토큰에서 문맥 토큰으로 생성 책임을 선택적으로 재분배한다는 것을 보인다. 기능어는 다산도 감소가 가장 크게 나타나는 반면, 내용어는 안정적으로 유지되며, 이는 문맥이 새로운 정보를 추가하기보다는 모호성을 해소함을 시사한다. 본 프레임워크는 인간 번역에서의 선택적 문맥 사용에 대한 실증적 특성화를 제공하여 기계 번역 모델 평가를 위한 진단 기준선을 확립한다.
원문 초록
When humans translate, not every word depends equally on the surrounding context. Some tokens, particularly function words like pronouns and auxiliaries, rely heavily on preceding or following sentences, while others, such as proper nouns, do not. Understanding this inherent context sensitivity is essential for evaluating whether machine translation systems use context in human-like ways. However, existing approaches to analysing context usage rely on discourse-specific test sets or model internals, making them narrow or model-dependent. We propose a post-hoc, model-agnostic framework to quantify context sensitivity at lexical and syntactic levels using two measures derived from word alignments: fertility (number of target tokens generated per source token) and entropy (stability of fertility patterns across contexts). Using reference translations for three language pairs (German $\leftrightarrow$ English, English $\rightarrow$ Hindi) under four context conditions, we show that context selectively redistributes generative responsibility from source to context tokens without altering overall fertility. Function words show the largest fertility reductions, while content words remain stable, suggesting that context resolves ambiguity rather than adding new information. Our framework provides a ground-truth characterisation of selective context usage in human translation, establishing a diagnostic baseline for evaluating machine translation models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.29489v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
MetaHOPE: MT 및 LLM 번역 오류 분석을 위한 은유 지향 평가 프레임워크
MetaHOPE: A Metaphor-Oriented Evaluation Framework for Analysing MT and LLM Translation Errors
본 의견 논문에서 우리는 은유 번역 평가를 위한 오류 심각도 인식 주석(annotation) 프레임워크인 MetaHOPE를 제안한다. 은유는 의미적 복잡성, 문맥 의존성, 문화적 임베딩(cultural embeddings) 등의 특성으로 인해 기계 번역(MT)과 자연어 이해 및 처리(NLU, NLP)에 어려움을 제기하며, NLP 모델에서 모호성 문제를 야기할 수 있다. 최신(state-of-the-art) NLP 모델이 은유 번역에서 어떻게 수행되는지 조사하기 위해 GoogleMT, GPT5.4, Hunyuan-7b의 세 가지 대표 시스템을 신경망 기계 번역(NMT) 모델 및 LLM으로 선정하였다. 영어-중국어 및 중국어-영어 번역 목적으로 VUAMC와 PSUCMC를 포함한 두 개의 사람 주석 은유 코퍼스를 사용하였다. 사용한 원본 코퍼스는 단일언어(monolingual)이며, MetaHOPE 프레임워크를 이용해 오류 주석을 수행하고, 이중언어 활용을 위한 사람 후편집(post-edited) 골드 레퍼런스도 새 자료로 제작하였다. 은유 번역 주석을 위한 MetaHOPE 평가 프레임워크, 병렬 코퍼스 자료, 최신 자동 번역 모델에 대한 오류 분석이 은유 번역 연구 분야에 유용하고 일부 통찰을 제공할 수 있을 것으로 본다. 자료는 github.com/Jiahui84/MetaHOPE에서 공개한다.
번역을 위한 LLM 미세조정: 일반적인 망각 완화 기법은 MT 특화 지시 이행 능력을 보존하지 못한다
Fine-Tuning LLMs for Translation: General Forgetting Mitigation Does Not Preserve MT-Specific Instruction Following
병렬 데이터로 대규모 언어 모델(LLM)을 미세조정하면 번역 품질은 향상되지만 파국적 망각(catastrophic forgetting)이 발생할 수 있다. 망각 완화 기법은 일반적으로 범용 벤치마크에서의 성능 유지 정도로 평가된다. 본 연구는 이러한 결과가 기계 번역(MT) 미세조정과, 형식체(formality), 문법적 성(grammatical gender), 길이 제어처럼 번역 결과를 수정하는 지시인 MT 특화 지시 이행(MT-IF)에도 그대로 적용되는지를 묻는다. 우리는 보조 데이터, 모델 출력, 기본 모델 파라미터를 기준점으로 삼는 기법들을 비교한다. 먼저 Llama 3.2 1B Instruct로 스크리닝 연구를 수행한 뒤, 아랍어-영어 또는 스페인어-영어 양방향 데이터로 미세조정한 Llama 3.1 8B Instruct에서 비교를 진행한다. Elastic Weight Consolidation은 두 단계 모두에서 범용 능력을 가장 잘 보존한다. 8B 스페인어 모델에서 범용 벤치마크 평균 점수는 표준 미세조정 시 11.0점 하락하는 반면 EWC에서는 1.7점 하락에 그친다. 그러나 형식체 및 문법적 성 제어에 대한 점수는 표준 미세조정과 비슷한 수준에 머문다. 제어 과제 예시를 섞는 데이터 혼합만이 이러한 제어 능력을 보존하지만, 그 이점은 동일 과제의 보지 못한 프롬프트로는 전이되지 않는다.
시퀀스-투-시퀀스 사전학습 언어 모델의 전이학습을 활용한 Bahnaric-베트남어 번역을 통한 문화적 가교 구축
Towards Cultural Bridge by Bahnaric-Vietnamese Translation Using Transfer Learning of Sequence-To-Sequence Pre-training Language Model
본 연구는 베트남 내 두 민족 집단 간 문화적 가교를 위해 Bahnaric-베트남어 번역을 달성하기 위한 여정을 탐구한다. 그러나 Bahnaric에서 베트남어로의 번역 역시 몇 가지 어려움에 부딪힌다. 가장 두드러진 과제는 어휘, 문법, 대화 패턴 및 이중언어 말뭉치를 포함한 원본 Bahnaric 원어 자원의 부족으로, 이는 학습을 위한 데이터 수집 과정을 저해한다. 이를 해결하기 위해 본 연구는 시퀀스-투-시퀀스 사전학습 언어 모델을 활용한 전이학습 접근법을 이용한다. 우선 사전학습된 베트남어 언어 모델을 활용하여 해당 언어의 특성을 포착한다. 특히 기계 번역 목적을 더 잘 수행하기 위해 BERT와 같은 인코더 전용(encoder-only)이나 GPT와 같은 디코더 전용(decoder-only)이 아닌 시퀀스-투-시퀀스 모델을 목표로 한다. 두 언어 간 상당한 유사성을 활용하여, 현재 제한된 베트남어-Bahnaric 이중언어 자원으로 모델을 추가 학습하여 언어 모델에서 기계 번역으로의 전이학습을 수행한다. 이러한 접근법은 두 언어 간 자원 불균형 문제를 해결하는 데 도움이 될 뿐만 아니라 학습 및 계산 과정도 최적화할 수 있다. 또한 데이터 증강을 통해 데이터셋을 보강하여 추가 자원을 생성하고, 번역의 정확도를 높이기 위한 몇 가지 휴리스틱(heuristic) 방법을 정의하였다. 본 접근법은 Bahnaric-베트남어 번역 모델에 매우 효과적임이 검증되었으며, 언어의 확장과 보존에 기여하고 두 민족 간 상호 이해를 촉진한다.
대규모 언어 모델에서 프롬프트 언어와 번역 이론 기반 프롬프트의 역할: 스페인어-중국어 저널리즘 번역 사례 연구
The Role of Prompt Language and Translation-Theory-Driven Prompts in Large Language Models: A Case Study on Spanish-Chinese Journalistic Translation
본 연구는 프롬프트 언어와 번역 이론 기반 프롬프트 설계가 GPT-5.2가 생성하는 스페인어-중국어 저널리즘 번역의 품질에 미치는 영향을 조사한다. El Pais의 사설 4편으로 구성된 병렬 코퍼스를 48가지 실험 조건(프롬프트 유형 4종, 프롬프트 언어 3종, 기사 4편)에서 번역하였다. 번역 품질은 자동 평가를 위해 BLEU와 BERTScore-F1을 사용하고, 다차원 품질 메트릭(MQM) 프레임워크에 기반한 인간 평가를 병행하였다. 자동 평가 지표는 기준선 프롬프트(BASE)를 최고 성능 조건으로 식별한 반면, 인간 평가에서는 브리프 지향 프롬프트(BRIEF)가 가장 높은 순위를 기록하였다(MQM: 8.66 대 7.84). 이러한 역전 현상은 자동 평가 방식에 내재된 단일 참조 제약에 기인할 가능성이 높다. 하위 오류 유형 분석 결과, 번역 이론 기반 프롬프트는 어색한 문체(Awkward style) 오류를 선택적으로 감소시킨 반면, 비관용적 문체(Unidiomatic style) 오류는 모든 조건에서 지속되었다. 프롬프트 언어는 두 평가 패러다임 모두에서 무시할 수 있는 수준의 영향만 미쳤다. 이러한 결과는 번역 이론 기반 프롬프트가 저널리즘 번역의 전문가 평가에서 측정 가능한 품질 향상을 가져올 수 있음을 시사하지만, 언어 학습자를 위한 교육적 함의는 시사적 수준에 머물며 사용자 기반 연구를 통한 검증이 필요하다.
CAT-Translate: 일본어-영어 번역을 위한 컴팩트 오픈소스 모델 구축
CAT-Translate: Building Compact Open-Source Models for Japanese-English Translation
오늘날 대규모 다국어 번역 모델은 기계 번역 벤치마크에서 인상적인 번역 능력을 보여준다. 이는 개발자들에게 실용적인 질문을 제기한다: 특정 언어 쌍만 지원해야 한다면 해당 언어 쌍에 특화된 번역 모델을 개발할 가치가 있는가? 이 질문에 대한 일화적 답을 제공하기 위해, 우리는 일본어-영어 양방향 번역에 특화된 소형 언어 모델(0.8B, 1.4B, 3.3B, 7B 파라미터) 계열을 개발한다. 우리는 2단계 지도 미세조정 접근법과 이어지는 Multi-Objective GRPO(Ichihara et al. 2025)를 사용하여 합성 생성 병렬 코퍼스로 모델을 학습한다. 우리는 WMT 및 비즈니스, 법률, 의료, 금융, 특허 분야의 실세계 번역 벤치마크에서 모델을 평가한다. 다국어 모델이 WMT 벤치마크에서 강력한 성능을 달성하는 반면, 우리의 컴팩트 모델은 실세계 벤치마크에서 이들을 능가하여, 대규모 다국어 모델 시대에도 특화 번역 모델 개발의 실용적 유용성을 시사한다.
더 똑똑한 편집? 오류 강조와 번역 제안을 활용한 사후 편집
Smarter edits? Post-editing with error highlights and translation suggestions
기계 번역(MT)의 품질이 향상됨에 따라 QE(품질 추정) 기반 오류 강조와 같은 향상된 사후 편집 기능에 대한 관심이 커지고 있으나, 그 유용성에 대한 증거는 여전히 제한적입니다. 본 연구에서는 자동 사후 편집(APE)을 기반으로 하는 LLM(대규모 언어 모델) 기반 오류 강조와 수정 제안의 유용성을 탐구합니다. 우리는 전문 번역가(영어-네덜란드어)가 APE 오류 강조와 수정 제안을 사용하여 번역문을 사후 편집하는 연구를 수행했으며, 이를 일반적인 PE와 QE 기반 강조를 사용한 PE와 비교하여 생산성, 품질 및 사용자 경험을 분석했습니다. 일반적인 PE와 비교하여 어떤 조건에서도 생산성이나 품질 향상은 나타나지 않았지만, APE 강조는 QE 기반 강조보다 더 긍정적으로 받아들여졌으며, 수정 제안은 전반적인 사용자 경험을 개선했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.