어떤 토큰이 문맥을 필요로 하는가? 다산도와 엔트로피를 활용한 번역 책임의 참조 기반 분석
Which Tokens Need Context? A Reference-Based Analysis of Translation Responsibility Using Fertility and Entropy
인간이 번역할 때, 모든 단어가 주변 문맥에 동일하게 의존하지는 않는다. 대명사나 조동사와 같은 기능어는 앞뒤 문장에 크게 의존하는 반면, 고유명사와 같은 토큰은 그렇지 않다. 이러한 내재적 문맥 민감도를 이해하는 것은 기계 번역 시스템이 인간과 유사한 방식으로 문맥을 활용하는지 평가하는 데 필수적이다. 그러나 기존의 문맥 사용 분석 방법은 담화 특화 테스트셋이나 모델 내부 정보에 의존하여 적용 범위가 좁거나 모델 종속적이다. 본 연구는 단어 정렬에서 도출된 두 가지 측도인 다산도(fertility, 소스 토큰당 생성되는 타깃 토큰 수)와 엔트로피(문맥에 걸친 다산도 패턴의 안정성)를 사용하여 어휘 및 통사 수준에서 문맥 민감도를 정량화하는 사후적(post-hoc), 모델 비의존적(model-agnostic) 프레임워크를 제안한다. 네 가지 문맥 조건 하에서 세 가지 언어 쌍(독일어 $\leftrightarrow$ 영어, 영어 $\rightarrow$ 힌디어)에 대한 참조 번역을 활용하여, 문맥이 전체적인 다산도를 변화시키지 않으면서 소스 토큰에서 문맥 토큰으로 생성 책임을 선택적으로 재분배한다는 것을 보인다. 기능어는 다산도 감소가 가장 크게 나타나는 반면, 내용어는 안정적으로 유지되며, 이는 문맥이 새로운 정보를 추가하기보다는 모호성을 해소함을 시사한다. 본 프레임워크는 인간 번역에서의 선택적 문맥 사용에 대한 실증적 특성화를 제공하여 기계 번역 모델 평가를 위한 진단 기준선을 확립한다.