arXiv:2610.15795v1 cs.CL

나스탈리크 우르두어 공격적 콘텐츠 탐지를 위한 설명 가능한 시스템: 말뭉치 구축, 트랜스포머 벤치마킹 및 단어 수준 기여도 분석

An Explainable System for Offensive Content Detection in Nastaliq Urdu: Corpus Curation, Transformer Benchmarking, and Word-Level Attribution

Muhammad Shahid Iqbal Malik

제출 2026-10-11

저자 비고

arXiv Comments

15 figures, 15 tables

한국어 초록

자동화된 중재 시스템이 대규모로 배포되고 있지만, 그 결정에 영향을 받는 사용자와 중재자에게는 여전히 불투명하며 적용 범위도 거의 전적으로 영어에만 국한되어 있다. 나스탈리크(Nastaliq) 문자로 작성된 우르두어의 경우 이러한 시스템이 전무하며, 시스템 구축의 기반이 되는 주석 달린 자원 역시 사용자의 작성을 제한하는 글자 수 제한이 있는 Twitter/X에서 주로 추출된다. 해석 가능성에 대해서는 거의 주목받지 못하여 이러한 모델들이 실제로 무엇을 학습하는지 불분명한 상태로 남아 있다. 본 연구는 세 단계를 통해 이러한 공백을 해결한다. 첫째, 텍스트 수준의 불일치를 수정하고 기존 라벨을 재검토하여 이전 말뭉치를 확장한 7,604개의 나스탈리크 우르두어 Facebook 댓글 말뭉치를 구축하고 공개한다. 둘째, 공통 격자 탐색(grid-search) 프로토콜에 따라 우르두어 처리가 가능한 4개의 트랜스포머(transformer)를 파인튜닝하고, 동일한 데이터 분할에서 12개의 특징(feature)-분류기 기준선(baseline)과 비교한다. 최고 성능을 기록한 인도 언어 다국어 표현(MuRIL) 구성은 정확도 87.05% 및 매크로 F1 87.06%에 도달하여 가장 강력한 기준선 대비 5.52%포인트 향상되었으며, 이는 테스트 정확도의 95% 신뢰 구간을 초과하는 마진(margin)이다. 상위 2개 트랜스포머의 성능 차이는 테스트 세트에서 유의미하게 구분할 수 있는 수준 미만이었고, 5개 최적화 도구에 걸쳐 성능이 안정적으로 유지되었다. 셋째, 우횡서(right-to-left) 렌더링에 맞게 조정한 단어 수준 SHAP 기여도를 계산한다. 기여도 가중치는 고빈도 비속어에 집중되지만, 구문론적으로 중립적인 기능어 및 출처 페이지 특유의 정치 어휘로도 확장되며, 이는 종합적인 성능이 공격성에 대한 일반화 가능한 표현보다는 부분적으로 어휘 및 주제적 규칙성에 의존할 수 있음을 나타낸다.

원문 초록

Automated moderation systems are deployed at scale, yet they remain opaque to the users and moderators affected by their decisions, and their coverage is almost entirely confined to English. For Urdu written in the Nastaliq script, no such system exists, and the annotated resources it would be built on are drawn largely from Twitter/X, where character limits constrain how users write. Interpretability has received little attention, leaving it unclear what such models actually learn. This study addresses these gaps in three steps. First, we curate and publicly release a corpus of 7604 Nastaliq Urdu Facebook comments, extending an earlier corpus by correcting text-level inconsistencies and re-examining the original labels. Second, we fine-tune four Urdu-capable transformers under a common grid-search protocol and compare them against twelve feature-classifier baselines on identical data partitions. The best configuration, Multilingual Representations for Indian Languages (MuRIL), reaches 87.05% accuracy and 87.06% macro F1, improving on the strongest baseline by 5.52 percentage points, a margin that exceeds the 95% confidence interval on test accuracy; the two leading transformers differ by less than the test set can resolve, and performance is stable across five optimizers. Third, we compute word-level SHAP attributions adapted to right-to-left rendering. Attribution mass concentrates on high-frequency slurs but extends to syntactically neutral function words and to political vocabulary characteristic of the source pages, indicating that aggregate performance may rest partly on lexical and topical regularities rather than a generalizable representation of offensiveness.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.15795v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23512v1cs.CL공통 태그 Text Classification, offensive language detection

공격적 언어 탐지의 교차 도메인 일반화 비용

The Cross-Domain Generalization Cost of Offensive Language Detection

공격적 언어 탐지 모델은 일반적으로 데이터셋 간 및 언어 간에 배포될 때 성능 저하를 겪지만, 기존 연구의 대부분은 이 현상을 보고하는 데 그치며, 성능 저하의 원인을 기여 요인으로 분해하고 개선 비용을 정량화하는 체계적인 방법론이 부족하다. 본 논문은 세 가지 조율된 기술 구성 요소로 이루어진 진단 및 최적화 프레임워크를 제안한다. 첫째, OLID에서 MLMA로의 제로샷(zero-shot) 전이 손실 분해로, 성능 저하를 데이터셋 효과와 언어 효과라는 두 가지 독립적으로 측정 가능한 구성 요소로 분리한다. 둘째, 지속적 미세조정과 콜드스타트(cold-start) 시작점에서의 퓨샷(few-shot) 학습 곡선을 비교하여 적응 효율성과 원본 과제에 가해지는 숨겨진 손상을 모두 정량화하는 통제된 미세조정 프로토콜. 셋째, 온도 샘플링(temperature sampling)과 경험 재생(experience replay)을 포함하는 세 가지 공동 학습(joint training) 전략으로, 다국어 능력 향상과 원본 과제 성능 보존 사이의 조절 가능한 파레토(Pareto) 트레이드오프를 제공한다. 이 프레임워크를 기반으로 한 실험은 데이터셋 효과가 제로샷 전이 손실을 지배하며 언어 효과를 실질적으로 능가함을 보여준다. 재생(replay) 메커니즘이 없는 퓨샷 적응은 데이터 효율적이지만, 공동 학습 전략에 비해 원본 과제 손상을 4~9배 더 가하며, 그 손상의 크기는 매우 불안정하다. 세 가지 공동 학습 전략은 원본 과제 성능 3.2~4.1%p를 다국어 능력 향상 8.1~42.6%p와 교환하며, 명확하고 조절 가능한 파레토 트레이드오프를 형성한다.

arXiv:2606.27629v1cs.CL공통 태그 Text Classification, offensive language detection

이중 임계값 어려운 예시 마이닝을 통한 크로스 플랫폼 중국어 공격적 댓글 탐지

Cross-Platform Chinese Offensive Comment Detection via Dual-Threshold Hard Example Mining

중국어 소셜 미디어에서 공격적 댓글 탐지를 크로스 플랫폼으로 배포할 때 성능 저하가 발생한다. 본 논문은 이를 해결하기 위해 이중 임계값 어려운 예시 마이닝 방법을 제안한다. 먼저 clean-Chinese-base RoBERTa를 COLD에서 파인튜닝하여 공정한 비교를 위한 이진 기준선을 수립한다. 둘째, Weibo, Xiaohongshu, Tieba, Zhihu를 포괄하는 3클래스 세밀 라벨 테스트 세트를 구축하고, Jaccard와 Proxy-A Distance를 사용하여 소스로부터의 도메인 거리를 정량화하며, 도메인 이동 하에서 기준선의 성능 저하 병목을 체계적으로 밝힌다. 여기서 이중 임계값 어려운 예시 마이닝 전략을 제안한다. 예측 신뢰도를 통해 비라벨 코퍼스에서 고신뢰도 및 저신뢰도의 오류 발생 가능 샘플을 필터링한다. 모델은 소량의 수동 라벨 어려운 예시만으로 암묵적 맥락 하에서 2차 파인튜닝되어, 저비용 크로스 플랫폼 도메인 적응을 실현한다. 실험 결과, 최적화된 모델이 네 플랫폼 전반에서 유의미한 성능 향상을 보인다.

arXiv:2609.27262v2cs.CL공통 태그 Text Classification

하나의 적응 모델로 모든 것을 할 수 있을까? 고객 지원 LLM을 위한 미세조정 전략 선택

Can One Adapted Model Do It All? Fine-Tuning Strategy Selection for Customer Support LLMs

실제 운영 환경의 고객 지원 시스템은 의도 분류(intent classification), 질의응답, 요약, 도구 사용(tool-use) 결정 등 여러 기능을 지원하도록 LLM에 요구하는 경우가 많다. 핵심적인 배포 관련 질문은 이러한 기능을 각각 별도의 태스크 특화 모델로 처리해야 하는지, 아니면 멀티태스크 학습, 순차적 업데이트, 또는 모델 병합(model merging)을 통해 학습한 단일 모델로 처리해야 하는지이다. 우리는 이 질문을 다섯 개 모델 계열(Qwen3, Qwen3.5, Gemma-3, Llama-3.1, Mistral)에 걸친 0.6B~32B 파라미터 규모의 13개 모델을 사용하여, 공개 데이터셋 4개와 비공개 데이터셋 4개를 포함한 8개의 고객 지원 데이터셋(학습 샘플 약 74.5k개, 평가 샘플 약 8.7k개)에서 연구한다. 고정된 학습 프로토콜 하에서 200개 이상의 체크포인트를 학습한다. 실험 결과, 멀티태스크 전체 미세조정(full fine-tuning)이 우리가 테스트한 모든 모델 크기에서 가장 강력한 운영상의 기본 선택임을 확인했다. 특화 모델은 목표 태스크에서는 강력하지만 다른 태스크에서는 성능이 급격히 저하되는 경우가 많아, 신뢰할 수 있는 라우팅이 중요하다. 순차적 LoRA(Low-Rank Adaptation)는 순차적 전체 미세조정보다 이전에 학습한 기능을 더 잘 보존하며, 특화 모델을 기반 모델과 병합하면 더 큰 모델에서 동일 태스크 손실은 제한적인 수준으로 유지하면서 다른 태스크에 대한 강건성이 향상된다. 마지막으로 실제 환경에서 미세조정 전략을 선택하기 위한 실용적인 가이드라인을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.