PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28725v2cs.CL

DriftGuard: 진화하는 유해성 모더레이션을 위한 안전성 인식 다중 모니터 탐지 및 선택적 적응

DriftGuard: Safety-Aware Multi-Monitor Detection and Selective Adaptation for Evolving Toxicity Moderation

Automated toxicity moderation systems operate in dynamic online environments where harmful behavior evolves through coded language, shifting targets, and strategic adaptation to enforcement. Existing drift detection methods often focus on global distributional change, but such signals may miss safety-relevant shifts that emerge in localized harm subspaces or high-risk model-error regions. This paper introduces DriftGuard, a safety-aware adaptive moderation framework that combines multi-monitor drift detection with selective model updating. The framework tracks global text drift, identity-harm drift, model uncertainty, toxic-risk drift, and false-negative-risk drift. When safety-relevant change is detected, the model is updated using a hard-mix adaptation set that prioritizes likely false negatives, identity-related high-risk examples, false-positive-risk examples, and uncertain boundary cases. Experiments on Civil Comments temporal shift and Jigsaw-to-DynaHate cross-dataset shift show that safety-aware monitors detect risks missed by global drift alone. Hard-mix adaptation improves toxic recall and accuracy over no-update and random-balanced baselines. It raises toxic recall from 0.8453 to 0.8777 on Civil Comments and from 0.7107 to 0.8523 on DynaHate. Bootstrap analysis further shows stable DynaHate safety gains, with toxic recall increasing by 0.1418 and false-negative prevalence decreasing by 0.0781. Overall, DriftGuard links safety-aware drift detection with targeted, lightweight model updating for more robust adaptive toxicity moderation.

arXiv:2607.21980v1cs.CL

마스토돈 커뮤니티의 독성 행동 분석과 그 영향

Analyzing Toxic Behavior and Its Impact on the Mastodon Community

독립적으로 중재되는 소셜 서버들의 탈중앙화 연합인 마스토돈(Mastodon)은 독성 콘텐츠의 탐지와 완화에 고유한 과제를 제기한다. 통일된 중재 기준이 없다. 생태계는 매우 다양하고 불균등하다. 본 논문은 머신러닝(machine learning) 방법을 활용해 사용자 게시물을 분석함으로써 마스토돈에서 독성(toxicity)의 발생과 확산을 탐구한다. 결과는 독성 추세와 커뮤니티 건강 및 탈중앙화 거버넌스에 대한 함의를 명확히 제시한다.

arXiv:2607.20450v1cs.CL

ShriNep@EEUCA 2026: RAKSHAK - 근거 증류와 Jigsaw 증강 학습을 활용한 다중 과제 DeBERTa 기반 독성 의도 분류

ShriNep@EEUCA 2026: RAKSHAK - Multi-Task DeBERTa with Rationale Distillation and Jigsaw-Augmented Training for Toxic Intent Classification

본 논문은 ACL 2026 EEUCA 워크숍의 GameTox 공유 과제를 위한 두 가지 시스템을 제시한다. 이 과제는 World of Tanks 채팅 발화를 6개의 세분화된 독성 의도 범주(레이블 0-5)로 분류하는 것을 요구한다. 심각한 클래스 불균형, 도메인 특화 다국어 슬랭, 그리고 위협(레이블 4, 60개 샘플)과 극단주의(레이블 5, 24개 샘플)와 같은 희귀 범주에 대한 극히 부족한 데이터로 인해 이는 어려운 분류 문제가 된다. 주 제출 시스템인 RAKSHAK(rakṣaka, 산스크리트어로 "수호자")는 Qwen2.5-14B(An et al., 2024)로부터의 근거 증류(rationale distillation), 지도 대조 손실(Supervised Contrastive Loss), 희귀 클래스 전용 이진 헤드를 결합한 다중 과제 DeBERTa-v3-base(He et al., 2022) 프레임워크이다. RAKSHAK의 학습 데이터는 Jigsaw Toxic Comment 데이터셋(16,225개 샘플, 레이블 1-4에 매핑)의 교차 도메인 전이와 레이블 5를 위한 LLM 생성 극단주의 샘플 100개로 증강되었다. 보조 시스템(M1)은 Jigsaw 전이 없이 원본 GameTox 데이터와 동일한 극단주의 샘플 100개에 Focal Loss를 적용하여 DeBERTa-v3-base를 파인튜닝한다. RAKSHAK는 공식 테스트셋에서 Macro F1 0.5883을 달성하여 35개 참가 팀 중 7위를 기록했으며, M1은 Macro F1 0.5252를 달성했다. Jigsaw 데이터 유무에 따른 M1의 ablation 비교 결과, 교차 도메인 전이는 F1 +2.6점을, RAKSHAK의 다중 과제 아키텍처는 추가로 +3.7점을 기여하는 것으로 나타났다.

arXiv:2607.20447v1cs.CL

thaulab@EEUCA 2026: 누가 누구에게 무엇을 말했는가? 게임 독성 감지를 위한 타겟팅 인식 신경-기호 파이프라인

thaulab@EEUCA 2026: Who Said What to Whom? A Targeting-Aware Neural-Symbolic Pipeline for Gaming Toxicity Detection

본 논문은 게임 채팅 독성 분류를 위한 EEUCA 2026 공유 과제(Shared Task)에 대한 우리 시스템을 설명한다. 우리는 DeBERTa-v3-base(184M)와 XLM-RoBERTa-base(278M) 두 개의 소형 트랜스포머 앙상블과, 코퍼스 기반 어휘 정규화, 클래스 조건부 unigram 점수화, 다국어 욕설 감지, 화행 이론(speech act theory)에 기반한 행위자(agentive) 타겟팅 분석을 통해 모델 간 불일치를 해소하는 언어학적으로 정보화된 중재자(Linguistically-Informed Mediator, LIM)를 결합한 3단계 파이프라인을 구현한다. LIM은 실제 게임 모더레이션에서 가장 안전성(safety)에 중요한 소수 클래스인 Hate & Harassment, Threats, Extremism을 특별히 겨냥한다. 극심한 클래스 불균형(Non-toxic 대 Extremism 비율 1,450:1)을 해결하기 위해, 제공된 학습 데이터만을 사용하는 2단계 데이터 증강 전략을 도입한다. 우리 시스템은 공식 테스트 세트에서 Macro F1 0.6441, 정확도(accuracy) 0.9062를 달성하여, 모든 팀 중 Macro F1 3위, 정확도 1위를 기록했다. 제안된 파이프라인은 도메인 이식성이 높다: 다른 게임 플랫폼에 적응하려면 게임별 엔티티 어휘집만 교체하면 된다. 코드는 https://github.com/Anmol2059/thaulab_EEUCA 에서 공개적으로 제공된다.

arXiv:2508.04166v3cs.CV

STEMTOX: From Collaborative Tags to Fine-Grained Toxic Meme Detection via Entropy-Guided Multi-Task Learning

Memes, as a widely used mode of online communication, often serve as vehicles for spreading harmful content. However, limitations in data accessibility and the high costs of dataset curation hinder the development of robust meme moderation systems. To address this challenge, in this work, we introduce a first-of-its-kind dataset - TOXICTAGS consisting of 6,300 real-world meme-based posts annotated in two stages: (i) binary classification into toxic and normal, and (ii) fine-grained labelling of toxic memes as hateful, dangerous, or offensive. A key feature of this dataset is that it includes collaborative tags associated with the original posts, enhancing the context of each meme. In addition, we propose a novel entropy-guided multi-tasking framework -- STEMTOX -- that leverages these collaborative tags alongside visual and textual inputs within a robust classification framework. Experimental results show that incorporating these tags substantially enhances the performance of state-of-the-art VLMs in toxicity detection tasks. Our contributions offer a novel and scalable foundation for improved content moderation in multimodal online environments. Warning: Contains potentially toxic contents.

arXiv:2606.27981v1cs.CL

ToxiREX: 맥락 속 유해 추론(Toxic REasoning in ConteXt) 데이터셋

ToxiREX: A Dataset on Toxic REasoning in ConteXt

우리는 ToxiREX: Toxic REasoning in ConteXt라는 새로운 맥락 기반 다국어 데이터셋을 소개한다. 이 데이터셋은 Reddit 댓글 스레드와 댓글이 함의하는 내용에 대한 구조화된 특성 묘사로 구성되며, 이전 논문에서 개발된 체계적인 유해성 추론(toxic reasoning) 스키마를 따른다. 이 스키마를 사용하면 암묵적이고 맥락 의존적인 유해성을 포착하고 설명할 수 있으며, 기존 유해성 분류체계로의 매핑도 지원한다. 데이터셋에는 영어, 아랍어, 터키어, 스페인어, 독일어, 네덜란드어 등 6개 언어의 댓글이 포함되며, 특정 주요 사건(예: 2023년 터키 지진, 러시아의 우크라이나 침공)과 연관된 게시물에서 수집되었다. 우리는 스레드의 맥락 보존 전처리를 설명한다. 상용 대규모 언어 모델(LLM)으로 주석 처리한 12만 5천 개 댓글의 학습 집합과, 원어민 화자가 주석 처리한 3천 개에 가까운 댓글의 테스트 집합을 만든다. 테스트 집합 주석에서 드러나는 겉보기 불일치는 종종 노이즈가 아니라 정당화 가능한 대안적 해석을 반영함을 보인다. 마지막으로, 프롬프트 및 언어 모델 미세조정을 통해 기준선 결과를 제공한다. 이러한 결과를 얻기 위해 계층적이고 스키마 기반 예측에 대한 평가 전략을 개발한다. 모델은 무작위보다는 더 나은 성능을 보이지만, 개선의 여지가 많아 이 과제가 어렵다는 것을 보여준다. ToxiREX는 유해성 추론 스키마를 활용한 풍부하고 구조화된 주석과 함께 다국어, 대화 맥락, 암묵적 유해성을 동시에 포함하는 최초의 데이터셋이다. 데이터셋은 https://github.com/cltl/toxirex 에서 이용할 수 있다.

arXiv:2606.24166v1cs.NE

Distributed Quality-Diversity Search for Toxicity in Large Language Models

Large Language Models remain vulnerable to adversarial prompts that elicit harmful responses, and scaling red-teaming to cover a broad range of failure modes is constrained by the cost of text generation and evaluation. We present \emph{ToxSearch-S}, a speciated extension of toxicity-focused evolutionary prompt search with incremental, embedding-driven niche maintenance, together with an MPI master-worker realization that centralizes population and species bookkeeping on rank~0 while offloading prompt evolution and evaluation to $n_w$ parallel workers. Under a common budget, ToxSearch-S attains peak toxicity competitive with both ToxSearch and RainbowPlus while following a measurably less toxic best-so-far trajectory, indicating lower cumulative search pressure. Diversity is non-uni-dimensional: RainbowPlus yields greater embedding-level spread, whereas ToxSearch-S partitions high-toxicity prompts into more localized behavioral pockets, reflected by a higher DBSCAN cluster count. MPI distribution delivers substantial wall-clock gains, approximately $1.8\times$ with two workers and $3.2\times$ with four, while leaving Best@B statistically indistinguishable from sequential execution. Four-worker runs also produce significantly larger final species cardinality and more toxicity-bearing species, without a reliable gain in global peak toxicity. These results position incremental speciation as a practical quality-diversity mechanism for AI Safety and MPI as an effective means of compressing time-to-result while preserving measured search outcomes.

arXiv:2606.13581v1cs.CY

인식의 어조: 틱톡 정신건강의식주월 기간의 주제, 감정 및 유해성 지도

The Tone of Awareness: Topic, Sentiment, and Toxicity Maps During Mental Health Month on TikTok

틱톡의 정신건강의식주월 콘텐츠를 분석하여 BERTopic으로 주제를 추출하고 XLM-T와 Detoxify를 통해 비디오와 댓글의 감정(sentiment) 및 유해성(toxicity)을 측정했다. 비디오는 감정적 주제에서 부정적 감정을 보이는 반면 댓글은 긍정적이거나 혼합된 성향을 띠며, 유해성은 전반적으로 낮지만 특정 주제의 댓글에서 높은 이상치가 관찰되었다.