arXiv:2607.05689v1 cs.CL

UCSC NLP at SemEval-2026 Task 10: 음모론 탐지를 위한 경계 인식 스팬 추출 및 RoBERTa 분류

UCSC NLP at SemEval-2026 Task 10: Boundary-Aware Span Extraction and RoBERTa Classification for Conspiracy Detection

Dom Marhoefer, Milos Suvakovic, Glenn Grant-Richards, Aidan Pinero, Ryan King

제출 2026-07-06

한국어 초록

우리는 음모론 마커 추출(Subtask 1)과 문서 수준 음모론 탐지(Subtask 2)를 다루는 SemEval-2026 Task 10 (PsyCoMark)을 위한 시스템을 제시한다. 마커 추출을 위해, 해당 과제를 열거된 후보 스팬에 대한 다중 레이블 스팬 분류(multi-label span classification)로 정식화하며, IoU >= 0.95 양성 레이블링, 하드 네거티브 샘플링(hard-negative sampling), 경계 인식 스팬 표현을 활용한 포함 기반 비최대 억제(NMS)를 사용한다. 문서 분류(document classification)는 레이블 스무딩(label smoothing)과 계층화된 학습-검증(train-validation) 분할을 적용한 시퀀스 분류기(sequence classifier)로 독립적으로 모델링된다. 분석 결과, 개체 유사 역할(Actor, Victim)은 강건하게 탐지되는 반면, 추상적 역할(Action, Effect, Evidence)은 경계 기준에 민감하게 남아 있음을 보여준다. 공식 테스트 셋에서 우리 시스템은 Subtask 1에서 7위(0.2251 macro F1), Subtask 2에서 11위(0.7694 weighted F1)를 기록하였다.

원문 초록

We present our systems for SemEval-2026 Task 10 (PsyCoMark), addressing conspiracy marker extraction (Subtask 1) and document-level conspiracy detection (Subtask 2). For marker extraction, we formulate the task as multi-label span classification over enumerated candidate spans, using IoU >= 0.95 positive labeling, hard-negative sampling, and containment-based non-maximum suppression (NMS) with boundary-aware span representations. Document classification is modeled independently using a sequence classifier with label smoothing and a stratified train-validation split. Analysis shows that entity-like roles (Actor, Victim) are detected robustly, while abstract roles (Action, Effect, Evidence) remain sensitive to boundary criteria. On the official test set, our systems rank 7th in Subtask 1 (0.2251 macro F1) and 11th in Subtask 2 (0.7694 weighted F1).

요약

SemEval-2026 Task 10(PsyCoMark)에서 음모론 마커 추출과 문서 수준 음모론 탐지를 위해 RoBERTa-large 기반의 두 독립 모델을 제안하며, Subtask 1에서는 경계 인식 스팬 표현과 하드 네거티브 샘플링, 포함 기반 NMS를 활용한 다중 레이블 스팬 분류를, Subtask 2에서는 레이블 스무딩을 적용한 시퀀스 분류기를 사용한다. Actor, Victim 등 개체 유사 역할은 강건하게 탐지된 반면 Action, Effect, Evidence 등 추상적 역할은 경계 기준에 민감하였으며, 공식 테스트에서 Subtask 1 7위(macro F1 0.2251), Subtask 2 12위(weighted F1 0.7694)를 기록하였다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.05689v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04962v2cs.CL공통 태그 Text Classification, Relation Extraction, Named Entity Recognition, Misinformation, conspiracy detection

배후는 누구인가? 독일어 텔레그램 게시물에서 음모론적 행위자 어노테이션 및 추출

Who's Behind It? Annotating and Extracting Conspiratorial Actors from German Telegram Posts

음모론은 흔히 중요한 사건을 강력하고 비밀스러운 행위자의 행동 탓으로 돌립니다. 계산적 연구는 주로 음모론에 대한 문서 수준의 분석에 집중해 온 반면, 이러한 서사를 이끄는 행위자를 식별하는 데는 상대적으로 덜 주목해 왔습니다. 본 연구에서는 음모론적 행위자에 대한 어노테이션 가이드라인을 개발하고, 스팬(span) 어노테이션이 적용된 독일어 텔레그램 게시물 코퍼스를 제시하며, 트랜스포머(transformer) 기반 모델을 사용한 자동 추출을 조사합니다. 나아가 도출된 모델을 독일어 음모론 관련 텔레그램 채널의 대규모 아카이브인 Schwurbelarchiv에 적용합니다. 실험 결과는 음모론 담화의 언어적 복잡성에도 불구하고 음모론적 행위자를 유의미한 일치도로 어노테이션할 수 있으며 합리적인 정확도로 추출할 수 있음을 보여주어, 음모론 서사에서 행위자 표현에 대한 대규모 분석을 가능하게 합니다.

arXiv:2609.26034v1cs.CL공통 태그 Text Classification, Relation Extraction, Named Entity Recognition

대규모 구조화 문헌 마이닝을 위한 도메인 적응 사전학습 기반 수처리 의미 표상 향상

Domain-Adaptive Pretraining Enhances Water Treatment Semantic Representation for Large-Scale Structured Literature Mining

수처리 연구가 급격히 확장되고 있으나, 이러한 연구로부터 도출된 많은 지식은 비정형 문헌 전반에 흩어져 있는 상태로 남아 있다. 이 분야는 대규모 문헌 마이닝을 위해 수처리 특화 도메인 의미를 효율적으로 포착할 수 있는 전용 언어 모델이 여전히 부족하다. 본 연구에서는 수처리 텍스트로부터 의미 표상(semantic representation) 및 구조화된 정보 추출을 수행하도록 설계된 도메인 적응 인코더 모델인 WaterBERT를 개발하여 이를 해결한다. WaterBERT는 약 29억 7천만 개의 토큰으로 구성된 대규모 수처리 말뭉치에 대한 지속 사전학습(continual pretraining)을 통해 개발되었다. WaterBERT를 기반으로 파인튜닝된 세 가지 모델을 다운스트림 태스크에서 체계적으로 평가한 결과, 다중 클래스 처리 공정 분류에서 F1 점수 90.12%, 개체명 인식에서 79.50%, 관계 추출에서 74.04%를 기록하며 범용 및 도메인 특화 BERT 모델 중 전반적으로 가장 우수한 성능을 달성했다. 이러한 벤치마크 태스크를 넘어, 대규모 문헌 처리에 대한 WaterBERT의 이점을 추가로 입증했다. 5,144편의 Environmental Science & Technology 논문에 적용된 WaterBERT-BERTopic은 사전에 정의된 범주 없이도 일관되고 다양하며 도메인에 특화된 연구 주제를 식별했다. WaterBERT를 기반으로 693,211개의 초록을 처리하여 상용 대규모 언어 모델(LLM)보다 현저히 낮은 비용으로 경쟁력 있는 추출 성능을 유지하면서 구조화된 수처리 지식 그래프를 구축했다. 이후 이 지식 그래프를 어휘 및 조밀 검색(dense retrieval)과 통합하여 수처리 지식 증강 검색 시스템(WaterKERS)을 개발했으며, 이는 관련성 점수 77.7을 달성하여 텍스트 기반 검색 베이스라인(54.7-64.5)을 크게 능가했다. 본 연구는 WaterBERT를 통해 수처리 연구에서의 대규모 정보 처리 및 근거 매핑을 위한 컴팩트하고 확장 가능한 의미론적 기반을 제공한다.

arXiv:2607.10715v1cs.CL공통 태그 Text Classification, Named Entity Recognition, Misinformation

슬라브어권 설득 기법 말뭉치

A Corpus of Persuasion Techniques in Slavic Languages

설득 기법은 다양한 미디어에서 여론을 움직이는 데 사용되는 강력한 수사적 도구이다. 우리는 슬라브어에 초점을 맞춘 새로운 설득 기법 말뭉치를 제시한다. 본 말뭉치는 불가리아어, 폴란드어, 러시아어로 작성된 문서를 포함하며, 거친 단위의 텍스트 범위 수준과 세밀한 문장 수준에서 설득 기법이 주석 처리되어 있다. 해당 기법들은 여섯 가지 광범위한 수사적 설득 전략 범주로 묶인 25개의 세밀한 설득 기법 분류 체계에서 도출된다. 본 말뭉치는 국내외적으로 뜨겁게 논의되는 주제를 다루는 222개 문서에서 약 7,500개의 텍스트 범위를 포함한다. 우리는 말뭉치 구축 과정을 설명하고 상세한 통계를 제공하며, 주제와 설득 기법 간의 상관관계를 분석한다. 텍스트 범위 수준 및 문장 수준에서 설득 기법의 탐지 및 분류(classification)를 위한 기준선과 벤치마크 결과를 제공하기 위해 고전적 ML 기반 모델과 생성형 AI 기반 모델을 활용한다.

arXiv:2610.13678v1cs.CL공통 태그 Text Classification, Misinformation

철회 논문 재조명: 연구 부정 논문에서의 언어적 난독화 효과에 대한 재현, 확장 및 메커니즘적 평가

Retractions Revisited: A Replication, Extension, and Mechanistic Evaluation of Linguistic Obfuscation Effects in Fraudulent Science

선행 연구에서는 연구 부정을 저지른 과학자가 진실된 과학자보다 더 높은 비율의 언어적 난독화를 사용하여 논문을 작성하며, 이러한 난독화가 독자의 연구 분석 비용을 높인다는 점을 가능한 메커니즘으로 제시합니다. 그러나 이 결과는 오픈 사이언스(open science) 시대에 추가적인 실증적 검증을 거치지 않았으며, 다른 심리학적 메커니즘 또한 평가되지 않았습니다. 본 재현 및 확장 연구는 800편의 부정 논문과 800편의 진실된 대조군 논문(2013~2025년)을 비교하여 이러한 기회를 다루었습니다. 연구 결과는 언어적 난독화 가설을 지지하여, 부정 논문이 진실된 논문보다 더 난독화되었음을 시사했습니다. 세 가지 경쟁 메커니즘을 평가한 병렬 매개 모델에서는 형용사 비율 감소로 측정된 현실 모니터링(reality monitoring)이 연구 부정과 언어적 난독화 간의 연관성을 가장 잘 설명하는 것으로 나타났습니다. 난독화 특징을 사용한 교차 검증 탐지 정확도(60.7%)와 100개 이상의 언어 차원을 활용한 일래스틱 넷(elastic net) 모델의 정확도(71.6%)는 우연 수준보다 유의미하게 높았습니다. 과학 연구 부정 및 언어 심리학 연구에 대한 시사점을 논의합니다.

arXiv:2609.35821v2cs.CL공통 태그 Text Classification, Misinformation

CrisisFake: 재난 소셜 센싱을 위한 AI 생성 텍스트 탐지의 벤치마크 유효성 평가

CrisisFake: Benchmark Validity of AI-Generated Text Detection for Disaster Social Sensing

재난 소셜 센싱은 대중의 소셜 미디어 게시물을 상황 인지 및 인도주의적 대응을 위한 근거로 변환하지만, 그럴듯한 대규모 언어 모델(LLM) 생성 게시물은 이러한 정보 흐름을 오염시키고 피해, 요구사항, 자원 우선순위 평가를 왜곡할 수 있습니다. 본 연구는 텍스트 기반 탐지기가 사람이 작성한 재난 게시물과 LLM이 생성한 재난 게시물을 구별할 수 있는지, 그리고 그 판단의 기반이 되는 텍스트 단서가 무엇인지를 실증적으로 조사합니다. 우리는 9개 재난 사건에서 수집한 3,000개의 매칭된 시맨틱 단위로 구성된 12,000개 텍스트 규모의 Qwen2.5-7B 기반 데이터셋인 CrisisFake를 구축했습니다. 각 단위는 사람이 작성한 원본 게시물, LLM이 최소한으로 교정한 게시물, LoRA를 사용해 사실을 보존하며 생성한 LLM 게시물, 그리고 해당 인공 게시물의 정서적 프레임을 재구성한 버전으로 구성됩니다. 모델 선택 및 임계값 캘리브레이션을 지원하기 위해 42개 재난 사건에 걸친 6,000개 텍스트 규모의 별도 말뭉치도 독립적으로 구축되었습니다. 우리는 5개 모델 계열에 걸쳐 OSM-Det, Fast-DetectGPT, Binoculars 및 직접적인 LLM 판별기를 평가하고, 재난 도메인 캘리브레이션과 리트윗 마커, 사용자 멘션, 해시태그, URL, 구두점, 텍스트 길이와 같은 표면적 언어적 단서가 탐지기 성능에 어떤 영향을 미치는지 추가로 조사합니다. 14개의 고정(frozen) 구성 전반에서 AUROC는 0.402에서 0.517 사이에 머물렀으며, 캘리브레이션을 통해 도출한 낮은 위양성(false-positive) 동작 지점에서의 최고 예측 재현율은 3.6%에 불과해 무작위 추측에 가까운 구별 능력을 보였습니다. OSM-Det의 경우 재난 도메인에 캘리브레이션된 선형 헤드를 적용하면 AUROC가 0.817로 향상되지만, 7개 특징(feature)만을 사용한 텍스트 분류기만으로도 원본 대 사실적 LLM 생성 대조군에서 AUROC 0.784에 도달하며, 확인된 표면적 비대칭성을 중립화하면 해당 선형 헤드의 AUROC는 0.733에서 0.594로 떨어집니다. 이러한 결과는 LLM 생성 텍스트 탐지가 주로 언어적 단서에 의해 유도되며, 단문 형태의 재난 소셜 미디어에 적용하기에는 여전히 충분히 강건하지 않다는 실증적 근거를 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.