arXiv:2610.11389v1 cs.CL

허구보다 사실: 싱할라어-영어 신경망 기계 번역에서의 병리적 환각 탐지

Fact over Fiction: Detection of Pathological Hallucinations in Sinhala-to-English Neural Machine Translation

Navam Obeysekara, Nevidu Jayatilleke

제출 2026-10-08

저자 비고

arXiv Comments

11 pages, 1 figure, 7 tables, Accepted paper at the 13th Conference on Computational Linguistics and Speech Processing (ROCLING) 2026

한국어 초록

신경망 기계 번역(NMT) 모델은 매우 유창한 결과물을 생성할 수 있지만, 자연스러우면서도 원문과 의미상 무관한 번역인 환각(hallucination)에 여전히 취약합니다. 이러한 취약점은 교차 언어 정렬이 약해 환각이 자주 발생하는 싱할라어-영어와 같은 저자원 환경에서 특히 심각합니다. 본 논문에서는 이 언어 쌍을 위한 무참조(reference-free) 환각 탐지 프레임워크를 소개합니다. 언어학적 근거를 둔 5가지 변조 전략의 확률적 체인을 통해 생성되고 문자 수준 유사도를 사용해 형태론적 변이와 환각을 구별하는 의미적 구제 메커니즘을 갖춘 45,000개 샘플 규모의 합성 데이터셋을 제시합니다. 토큰 수준 시퀀스 레이블링을 위해 mDeBERTa-v3를 파인튜닝하여 원문이 분리된(source-disjoint) 테스트 세트에서 3개 시드 기준 토큰 수준 F1 0.841 +/- 0.001을 달성했으며, 신경망 위험 점수, 시퀀스 로그 확률, 교차 언어 의미 임베딩(LaBSE)을 통합한 3개 신호 앙상블을 연구합니다. 원문 절제(source-ablation) 대조군 실험 결과, 탐지기가 변조 과정의 표면적 아티팩트가 아닌 싱할라어 원문에 의존함을 확인했습니다. 즉, 원문을 섞거나 제거하면 문장 수준 AUROC가 0.970에서 무작위 추측 수준으로 감소합니다. 5개 모델 계열에 걸친 8개 NMT 시스템을 벤치마크한 결과, 탐지기의 발화 빈도가 아키텍처에 따라 최대 10배(an order of magnitude) 차이가 남을 발견했습니다.

원문 초록

Neural Machine Translation (NMT) models, while capable of producing highly fluent outputs, remain vulnerable to hallucinations, which are translations that are natural yet semantically unrelated to the source. This vulnerability is acute in low-resource settings like Sinhala-to-English, where weak cross-lingual alignment leads to hallucinations. This paper introduces a framework for reference-free hallucination detection in this language pair. We present a 45,000-sample synthetic dataset generated through a probabilistic chain of five linguistically motivated corruption strategies, with a semantic rescue mechanism that uses character-level similarity to distinguish hallucinations from morphological variants. We fine-tune mDeBERTa-v3 for token-level sequence labelling, reaching a token-level F1 of 0.841 +/- 0.001 over three seeds on a source-disjoint test set, and study a three-signal ensemble integrating neural risk scores, sequence log-probabilities, and cross-lingual semantic embeddings (LaBSE). A source-ablation control shows that the detector relies on the Sinhala source rather than on surface artefacts of the corruption process: shuffling or removing the source reduces sentence-level AUROC from 0.970 to chance. We benchmark eight NMT systems spanning five model families and find that detector firings vary by an order of magnitude across architectures.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.11389v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.