PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14491v1cs.SI

인위적 분열: 7개 소셜 미디어 영향 작전의 적대적 콘텐츠 분해

Manufactured Divisiveness: Decomposing the Hostile Content of Seven Social Media Influence Operations

국가 후원 영향 작전은 종종 '혐오'와 '독성(toxicity)'의 높은 발생률 출처로 측정된다. 우리는 이러한 비율이 측정 오류에 기반한다고 주장한다. 그 뒤에 있는 탐지기들은 아웃그룹(out-group)을 겨냥한 적대성 또는 분열성을 포함하는 더 넓은 정의를 포착하도록 검증되어 있어, 당파적 또는 지정학적 비난(invective)으로 더 잘 설명되는 콘텐츠에 혐오를 과대 귀속한다. Twitter Information Operations 아카이브의 7개 정부 귀속 캠페인(8,275개 계정)에서 수집한 2,508만 개 트윗을 대상으로, 우리는 혐오를 다른 형태의 분열성과 분리한다. 먼저 Cohen's $κ=0.82$로 인간 라벨과 일치하는 2-프롬프트 LLM 기반 탐지기를 검증하여 더 넓은 적대성을 식별하고, 이후 전문가와 $κ=0.52$로 일치하는 감사 가능한(auditable) 규칙을 개발하여 이 콘텐츠(5,457개 게시물)를 3개 하위 범주로 추가 분류한다. 약 50.1%는 사람에 대한 정체성 기반 공격이며, 30.4%는 당파적 공격, 19.5%는 국가와 그 외교 정책에 대한 비난이다. 따라서 이 전부를 혐오로 보고하면 혐오를 대략 두 배로 과대평가한다. 18.7%만이 정체성 기반이면서 비인간화 또는 선동적이다. 7개 캠페인 중 6개는 단일 '혐오' 비율이 평탄화하는 세 가지 체제로 분류된다. 즉 정체성 혐오(RU-op과 IRA, 모두 러시아 귀속), 지정학적 비난(이란 작전 모두), 당파적 분열성(베네수엘라 작전 모두)이다. 우리는 이 공통 산물을 $manufactured divisiveness$(인위적 분열)라고 부른다. 이러한 구성 개념들을 구분하는 경계선 자체는 여전히 정립되지 않았다. 가장 어려운 사례에서 세 명의 독립적 인간 전문가는 중등도 수준에서만 일치하며(쌍별 $κ=0.37$--$0.50$), 19개 LLM 모델 중 최고 성능도 전문가 다수결에 대해 $κ=0.601$에 그친다. 우리의 발견은 영향 캠페인 및 더 넓은 온라인 담론 맥락에서 혐오 연구의 재정의에 도움이 될 수 있다.

arXiv:2606.28772v1cs.CL

다수결이 소수 가치를 침묵시키다: HateXplain의 혐오/공격적 표현 경계에서의 어노테이터 불일치

Majority Vote Silences Minority Values: Annotator Disagreement at the Hate/Offensive Boundary in HateXplain

혐오 발언 어노테이션 파이프라인은 학습 전에 어노테이터 불일치를 다수결 레이블로 통합하는 방식을 일반적으로 사용한다. 본 연구는 이러한 집계 방식이 중립적이지 않음을 보인다. HateXplain에서 발생한 전체 어노테이터 불일치의 42.6%가 혐오/공격적 표현 경계에 집중되어 있으며, 이는 어노테이터들이 혐오의 시작점에 대해 서로 다른 임계값을 적용하는 패턴과 일치한다(카이제곱 = 135.199, df = 2, p < 0.0001). 하드 레이블 BERT 모델(모델 A)과 소프트 레이블 모델(모델 B) 모두 합의된 게시물(~80%)에서 불일치 게시물(~58%)로 정확도가 22퍼센트 포인트 하락하였으며, 이는 p < 0.0001 수준에서 확인되었다. 어노테이터별 멀티헤드 모델(모델 C)은 이 격차를 28포인트로 더욱 확대하면서 공격적 표현 불일치에 대한 정확도를 0.245까지 떨어뜨린다. 결정적으로, 모델 A는 경계 사례 오류에 대해 모델 C보다 유의미하게 높은 신뢰도를 나타내며(0.710 대 0.495, p < 0.0001), 이는 표준 평가 지표로는 해당 실패를 감지할 수 없음을 의미한다. 정교함의 수준을 높여가며 시도한 세 가지 다운스트림 개입 방법 모두 경계 정확도 회복에 실패하였다. 본 연구는 이 문제가 구조적임을 주장한다. 다수결은 논쟁적인 판단을 정답으로 제시하며, 모델은 그 거짓된 확실성을 그대로 이어받는다. 개입은 어노테이션 설계의 상위 단계에서 이루어져야 한다.

arXiv:2606.20369v1cs.CL

CATCH-ME if you RAG: 혐오 및 오정보 교환에 대한 문맥 주석이 달린 멀티턴 반박 연설 데이터셋

CATCH-ME if you RAG: a dataset of Contextually Annotated multi-Turn Counterspeech against Hate and Misinformation Exchanges

온라인 혐오 표현과 오정보는 빈번하게 중복되지만, 자연어 처리(NLP) 연구는 주로 이들을 독립적으로 다루어 왔습니다. 대규모 언어 모델(LLM)은 이러한 두 가지 위협에 대한 반박 연설 생성에서 인간을 보조하는 확장 가능한 솔루션을 나타내지만, 제로샷 모델은 종종 반복적이고 모호한 응답을 생성하여 모델 생성을 유도하기 위한 고품질 예시의 필요성을 강조합니다. 그러나 혐오와 오정보의 중복에 대응하는 기존 반박 연설 데이터셋은 희소하며 단일 회차 영어 대화로 제한되어 있는 반면, 실제 상호작용은 여러 회차와 언어에 걸쳐 있습니다. 이러한 격차를 해소하기 위해, 우리는 혐오와 오정보의 결합을 다루는 대화에 대한 첫 번째 대규모 전문가 선별 다국어 데이터셋을 소개합니다. 사실적 그라운딩을 보장하기 위해, 대화는 검증된 외부 지식(즉, 팩트 체킹 기사 및 NGO 보고서)에 고정되어 있으며 문서 및 청크 수준의 구간(span) 주석을 포함하여 검색-증강 생성(RAG) 시스템에 직접 적용할 수 있도록 합니다. 5개 언어를 포괄하고 7개의 소수자 집단을 향한 혐오를 대상으로 하는 이 새로운 자원은 더욱 설득력 있고 사실에 기반한 반박 연설 모델의 학습 및 평가를 가능하게 합니다.

arXiv:2606.18264v1cs.SI

다중 LLM 에이전트를 이용한 혐오 표현 연쇄 시뮬레이션: 실증적 근거, 모델링 충실도 및 개입 전략

Simulating Hate Speech Cascades with Multi-LLM Agents: Empirical Grounding, Modeling Fidelity, and Intervention Strategies

Bluesky의 혐오·양성 연쇄를 실증 분석해 혐오 확산은 스타형 토폴로지와 입장 단일성·독성-참여 동질성을 보이는 반면, 다중 LLM 에이전트 시뮬레이터가 이러한 패턴을 기존 캐스케이드 모델보다 더 충실히 재현하며 에이전트 이질성이 핵심 요인임을 밝힌다. 밀집 네트워크에서 증폭기 타겟팅 개입은 5.7%의 양성 부수 피해로 7.5–12.9%의 혐오 확산 감소를 보였다.