arXiv:2606.18852v1 cs.CL

문맥 경계 준-어려운 부정 샘플 마이닝을 통한 암시적 혐오 표현 일반화를 위한 함축된 진술 정렬

Aligning Implied Statements for Implicit Hate Speech Generalizability with Context-Bounded Semi-hard Negative Mining

Wicaksono Leksono Muhamad, Yunita Sari

제출 2026-06-17

한국어 초록

암시적 혐오 표현(implicit hate speech)의 분류는 여전히 어려운 과제로 남아 있으며, 그 이유는 의도가 노골적인 비속어보다는 암시와 문맥을 통해 가려지기 때문입니다. 기존의 지도 대비 학습(supervised contrastive) 접근법은 도메인 내 탐지를 개선하지만, 표면적 단서에 과적합(overfit)할 수 있으며 데이터셋 간 전이에 어려움을 겪습니다. 우리는 가능한 경우 게시물을 함축된 진술과 정렬하고, 학습을 근접한 혼동 사례에 집중시키기 위해 문맥 경계 준-어려운 부정 샘플(semi-hard negatives)을 사용하는 트리플릿 기반 프레임워크인 ImpSH를 제안합니다. 또한 데이터 증강(data augmentation)을 통해 양성 샘플(positives)을 구성하는 AugSH도 살펴봅니다. BERT와 HateBERT를 사용하여 IHC, SBIC, DynaHate에서 수행한 통제된 평가에서, ImpSH는 표준 지도 대비 학습 베이스라인에 대한 실행 가능한 대안이며, 일치하는 전처리 및 튜닝 예산 하에서 교차 도메인 성능을 종종 향상시킵니다. 정렬(alignment)과 균일성(uniformity)을 사용한 표현 분석은 균형 잡힌 전역적 분포와 더 좁은 양성 쌍을 나타내며, 정성적 최근접 이웃 사례 연구는 도메인 이동(domain shift) 하에서의 전형적인 거짓 음성(false negatives)을 보여줍니다. 이러한 결과는 문맥 경계 마이닝을 통해 게시물을 그 함축된 진술과 정렬하는 것이 관련 암시에 대해 더 안정적이고 전단사(bijective)와 유사한 매핑을 제공하며, 전통적인 클러스터링 기반 표현 학습에 내재된 변동성을 극복함을 보여줍니다.

원문 초록

Classifying implicit hate speech remains a challenge, as intent is often masked through insinuation and context rather than explicit slurs. Prior supervised contrastive approaches improve in-domain detection but can overfit surface cues and struggle to transfer across datasets. We propose ImpSH, a triplet-based framework that aligns posts with implied statements when available and uses context-bounded semi-hard negatives to focus learning on near confusions. We also examine AugSH, which forms positives via data augmentation. In controlled evaluations on IHC, SBIC, and DynaHate with BERT and HateBERT, ImpSH is a viable alternative to standard supervised contrastive baselines and often improves cross-domain performance under matched preprocessing and tuning budgets. Representation analysis using alignment and uniformity indicates tighter positive pairs with balanced global spread, and qualitative nearest-neighbor case studies illustrate typical false negatives under domain shift. These results demonstrate that aligning posts with their implied statements via context-bounded mining provides a more stable, bijective-like mapping to related insinuations, overcoming the volatility inherent in traditional clustering-based representation learning.

요약

암시적 혐오 표현은 암시와 문맥으로 의도가 가려져 분류가 어렵고, 기존 지도 대비 학습(supervised contrastive)은 표면 단서에 과적합되어 데이터셋 간 전이가 약합니다. ImpSH는 게시물을 함축 진술과 정렬하고 문맥 경계 준-어려운 부정 샘플(semi-hard negatives)로 근접 혼동을 학습하는 트리플릿 프레임워크로, IHC·SBIC·DynaHate에서 BERT와 HateBERT 기준 교차 도메인 성능을 종종 개선했습니다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.18852v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28471v1cs.CL공통 태그 Data Augmentation, Representation Learning, Contrastive Learning

저작자 검증을 위한 대조 학습

Contrastive Learning for Authorship Verification

우리 결과는 테스트된 설정에서 저작자 검증에 대한 분류 기반 접근법보다 대조 학습이 더 우수한 성능을 보임을 나타낸다. 손실 함수, 배치 크기, 학습 기간, 사전학습 모델, 입력 컨텍스트 길이, 무작위 텍스트 구간 데이터 증강을 모델 성능의 중요한 요인으로 확인했다. 이러한 고려사항을 바탕으로 PAN21 저작자 검증 태스크에서 98.4% 정확도를 달성하는 ModernBERT Bi-Encoder 모델을 개발했다.

arXiv:2610.15761v1cs.CL공통 태그 Data Augmentation, Domain Adaptation

도메인 적응형 사전학습 및 데이터 증강 접근법을 활용한 강건한 마라티어 감성 분석

Robust Marathi Sentiment Analysis using Domain-Adaptive Pre-training and Data Augmentation Approaches

자원이 부족한 언어의 경우, 주석이 달린 데이터의 부족과 텍스트 출처 전반에 걸친 강한 도메인 가변성으로 인해 감성 분석(Sentiment Analysis)이 여전히 까다로운 문제로 남아 있습니다. 마라티어(Marathi)는 널리 사용되는 언어임에도 불구하고 포괄적인 다중 도메인 감성 분석 연구가 부족합니다. 최근 L3Cube의 연구를 통해 마라티어 다중 도메인 데이터셋이 도입되면서 도메인을 고려한 감성 분류 연구가 더욱 원활해졌습니다. 본 연구에서는 사전학습된 MahaBERT 모델을 사용하여 서로 다른 도메인에 걸친 마라티어 감성 분류 성능을 개선합니다. 각 개별 도메인 데이터셋으로 모델을 학습(training)하고 마스크 언어 모델링(masked language modeling)을 활용한 도메인 적응형 사전학습(domain-adaptive pretraining)을 적용하여 모델이 도메인 특화 언어를 더 잘 이해하도록 지원합니다. 또한, 학습 데이터의 다양성을 높이기 위한 데이터 증강(data augmentation) 기법으로 역번역(back-translation)을 활용합니다. 실험 결과, 이러한 방법들이 모든 도메인에서 일관된 정확도 향상으로 이어짐을 보여줍니다. 성능 향상 폭은 데이터셋에 따라 최소 약 0.12%에서 최대 약 1.74%에 이릅니다. 이러한 결과는 도메인 적응형 사전학습과 데이터 증강이 감성 분석 모델 개선에 효과적인 전략임을 입증합니다. 이는 서로 다른 도메인 전반에서 더욱 강건한 성능을 달성하는 데 기여하며, 마라티어와 같은 저자원 언어에 이 접근 방식을 더욱 적합하게 만듭니다.

arXiv:2610.15997v1cs.LG공통 태그 Representation Learning, Contrastive Learning

표현 차이 증류

Representational Difference Distillation

지식 증류(knowledge distillation)는 거대한 교사 네트워크에서 소형 학생 네트워크로 표현 지식을 전달합니다. 기존의 관계형 및 대조적 증류 방법들은 모든 샘플을 균일하게 처리하여, 표현 공간에서 잘 일치하는 영역과 제대로 일치하지 않는 영역 모두에 동일한 그래디언트를 소모합니다. 본 논문에서는 교사와 학생의 표현이 구조적으로 불일치하는 부분을 진단하고 해당 영역에 증류 신호를 집중시키는 표현 차이 증류(Representational Difference Distillation, RDD)를 제안합니다. RDD는 불일치의 서로 다른 방향을 포착하는 두 개의 비대칭 친화도 행렬(affinity matrix)을 사용합니다. 하나는 학생이 잘못 유사하다고 간주하는 샘플들을 식별하고, 다른 하나는 학생이 아직 학습하지 못한 교사의 관계를 식별합니다. 이러한 친화도는 증류 손실이 정렬할 샘플 쌍과 잘못 정렬된 각 샘플을 얼마나 강하게 교정할지를 결정합니다. resnet32x4에서 resnet8x4로의 CIFAR-100 실험에서 RDD는 자체 실행 기준 75.58%의 테스트 정확도에 도달하여 CRD(75.45%)와 대등하고 KD 및 RKD를 상회하는 성능을 달성했습니다. 또한 커리큘럼 기반 및 샘플링 기반 변형을 추가로 탐색하여 데이터를 필터링하는 것보다 손실에 가중치를 부여하는 것이 더 효과적임을 확인했습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.