나스탈리크 우르두어 공격적 콘텐츠 탐지를 위한 설명 가능한 시스템: 말뭉치 구축, 트랜스포머 벤치마킹 및 단어 수준 기여도 분석
An Explainable System for Offensive Content Detection in Nastaliq Urdu: Corpus Curation, Transformer Benchmarking, and Word-Level Attribution
자동화된 중재 시스템이 대규모로 배포되고 있지만, 그 결정에 영향을 받는 사용자와 중재자에게는 여전히 불투명하며 적용 범위도 거의 전적으로 영어에만 국한되어 있다. 나스탈리크(Nastaliq) 문자로 작성된 우르두어의 경우 이러한 시스템이 전무하며, 시스템 구축의 기반이 되는 주석 달린 자원 역시 사용자의 작성을 제한하는 글자 수 제한이 있는 Twitter/X에서 주로 추출된다. 해석 가능성에 대해서는 거의 주목받지 못하여 이러한 모델들이 실제로 무엇을 학습하는지 불분명한 상태로 남아 있다. 본 연구는 세 단계를 통해 이러한 공백을 해결한다. 첫째, 텍스트 수준의 불일치를 수정하고 기존 라벨을 재검토하여 이전 말뭉치를 확장한 7,604개의 나스탈리크 우르두어 Facebook 댓글 말뭉치를 구축하고 공개한다. 둘째, 공통 격자 탐색(grid-search) 프로토콜에 따라 우르두어 처리가 가능한 4개의 트랜스포머(transformer)를 파인튜닝하고, 동일한 데이터 분할에서 12개의 특징(feature)-분류기 기준선(baseline)과 비교한다. 최고 성능을 기록한 인도 언어 다국어 표현(MuRIL) 구성은 정확도 87.05% 및 매크로 F1 87.06%에 도달하여 가장 강력한 기준선 대비 5.52%포인트 향상되었으며, 이는 테스트 정확도의 95% 신뢰 구간을 초과하는 마진(margin)이다. 상위 2개 트랜스포머의 성능 차이는 테스트 세트에서 유의미하게 구분할 수 있는 수준 미만이었고, 5개 최적화 도구에 걸쳐 성능이 안정적으로 유지되었다. 셋째, 우횡서(right-to-left) 렌더링에 맞게 조정한 단어 수준 SHAP 기여도를 계산한다. 기여도 가중치는 고빈도 비속어에 집중되지만, 구문론적으로 중립적인 기능어 및 출처 페이지 특유의 정치 어휘로도 확장되며, 이는 종합적인 성능이 공격성에 대한 일반화 가능한 표현보다는 부분적으로 어휘 및 주제적 규칙성에 의존할 수 있음을 나타낸다.