번역을 통한 데이터 오염 은폐: 아랍어 코퍼스에서의 증거
Obscuring Data Contamination Through Translation: Evidence from Arabic Corpora
데이터 오염(data contamination)은 모델이 진정한 일반화가 아니라 암기된 평가 내용으로부터 이득을 얻을 때 벤치마크 평가를 무효화할 수 있다. 그러나 노출된 콘텐츠가 평가 벤치마크와 언어가 다를 경우 오염을 감사하기는 어렵다. 우리는 네 개의 오픈 가중치(open-weight) 인스트럭션 튜닝 LLM을 MMLU와 XQuAD 평가 항목의 아랍어 번역본에 점차 증가하는 노출 수준으로 의도적으로 노출시킨 다음, 원래의 영어 과제에서 이를 평가함으로써 이러한 실패 양상을 연구한다. 이 통제된 설정은 실제 사전학습(pre-training) 유출을 재구성한 것이 아니라 오염에 대한 대리(proxy) 지표이다. 우리는 먼저 영어 중심의 사후(post-hoc) 프로브인 TS-Guessing과 Min-K%++ 두 가지를 테스트하여, 번역된 노출 상황에서 이들의 신호가 대부분 사라진다는 것을 발견했다: TS-Guessing은 MMLU에서의 모델별 위치 재현율(recall)을 제외하고는 약하게 유지되며, Min-K%++는 우연 수준(chance) 이하 또는 그 수준에 머문다. 동시에, 영어 MMLU 성능은 아랍어 노출과 함께 증가하여, 영어 오염 신호의 부재가 노출 효과의 부재를 의미하지 않음을 보여준다. 이어서 우리는 언어 간 예측 일관성(cross-lingual prediction consistency)과 선택지 재정렬(choice reordering)에 기반한, 학습 데이터가 필요 없는 진단 기법인 번역 인지 오염 탐지(Translation-Aware Contamination Detection, TACD)를 제안한다. 언어 간 일관성은 독립성 기준선(baseline)보다 상당히 높으며, 일반적으로 깨끗한(clean) 조건에 비해 증가하지만, 그 정도는 모델에 따라 다르고 엄격하게 단조적이지는 않다. 이러한 결과는 번역이 영어 전용 프로브로부터 오염 관련 효과를 숨길 수 있음을 보여주며, 확정적인 멤버십 테스트가 아니라 오염과 일치하는 행동의 증거로 명확히 규정된 다국어 진단 기법의 필요성을 시사한다.