arXiv:2606.13411v1 cs.CL

저자원 알제리 방언에서의 루머 탐지를 위한 엔드투엔드 하이브리드 프레임워크

An End-to-End Hybrid Framework for Rumour Detection in Low-Resources Algerian Dialect

Dihia Lanasri, Fatima Benbarek

제출 2026-06-11

한국어 초록

소셜 미디어의 급속한 성장은 루머 확산을 심화시켰습니다. 이 문제는 알제리 상황에서 방언 콘텐츠의 비공식적이고 코드 스위칭(code-switching)이 포함된 특성, 주석이 달린 리소스의 부족, 그리고 방언 텍스트에 대한 표준 아랍어 NLP 도구의 제한적인 효율성으로 인해 더욱 어렵습니다. 본 논문은 알제리 방언 소셜 미디어 콘텐츠를 위한 엔드투엔드 루머 탐지 하이브리드 프레임워크를 제시합니다. 우리는 실제 소셜 미디어 게시물, 합성 데이터, FASSILA 말뭉치를 결합하여 도메인 특화 주석 데이터셋을 구축했으며, 유사도 기반 주석 프로세스를 통해 자동 라벨링을 수행했습니다. 또한 아랍어 문자와 아라비지(Arabizi)로 병렬 데이터셋을 생성하는 전사 파이프라인을 도입했습니다. 고전적 기계 학습, 심층 학습, 트랜스포머, 하이브리드 모델을 포함한 다양한 접근 방식을 평가했습니다. 실험 결과, 트랜스포머 임베딩과 고전적 분류기를 결합한 하이브리드 접근 방식이 최고의 성능을 달성하여 F1-score 0.84를 기록했습니다. 또한 도메인 특화 사전학습이 모델 크기보다 더 중요하다는 점을 발견했는데, 소셜 미디어로 학습된 모델이 형식적 아랍어 말뭉치로 학습된 더 큰 모델보다 우수한 성능을 보였습니다. 이러한 결과는 저자원 알제리 방언 환경에서 루머 탐지의 실현 가능성을 입증합니다.

원문 초록

The rapid growth of social media has intensified the spread of rumours. This issue is more challenging in the Algerian context due to the informal and code-switched nature of dialectal content, the scarcity of annotated resources, and the limited effectiveness of standard Arabic NLP tools on dialect text. This paper presents an end-to-end rumour detection hybrid framework for Algerian dialect social media content. We build a domain-specific annotated dataset by combining real social media posts, synthetic data, and the FASSILA corpus, with automatic labeling based on a similarity-based annotation process. A transliteration pipeline is also introduced to generate parallel datasets in Arabic script and Arabizi. We evaluate multiple approaches, including classical machine learning, deep learning, transformers, and hybrid models. Experimental results show that a hybrid approach combining transformer embeddings with a classical classifier achieves the best performance, reaching an F1-score of 0.84. We also find that domain-specific pre-training is more important than model size, with social media-trained models outperforming larger models trained on formal Arabic corpora. These results demonstrate the feasibility of rumour detection in low-resource Algerian dialect settings.

요약

저자원 알제리 방언 소셜 미디어의 루머 탐지를 위해 실제 및 합성 데이터를 기반으로 한 데이터셋을 구축하고, 트랜스포머 임베딩과 고전적 분류기를 결합한 하이브리드 프레임워크를 제안한다. 이 방법은 F1-score 0.84를 달성하여 모델 크기보다 도메인 특화 사전학습이 성능에 더 중요함을 입증했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.13411v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13678v1cs.CL공통 태그 Text Classification, Misinformation

철회 논문 재조명: 연구 부정 논문에서의 언어적 난독화 효과에 대한 재현, 확장 및 메커니즘적 평가

Retractions Revisited: A Replication, Extension, and Mechanistic Evaluation of Linguistic Obfuscation Effects in Fraudulent Science

선행 연구에서는 연구 부정을 저지른 과학자가 진실된 과학자보다 더 높은 비율의 언어적 난독화를 사용하여 논문을 작성하며, 이러한 난독화가 독자의 연구 분석 비용을 높인다는 점을 가능한 메커니즘으로 제시합니다. 그러나 이 결과는 오픈 사이언스(open science) 시대에 추가적인 실증적 검증을 거치지 않았으며, 다른 심리학적 메커니즘 또한 평가되지 않았습니다. 본 재현 및 확장 연구는 800편의 부정 논문과 800편의 진실된 대조군 논문(2013~2025년)을 비교하여 이러한 기회를 다루었습니다. 연구 결과는 언어적 난독화 가설을 지지하여, 부정 논문이 진실된 논문보다 더 난독화되었음을 시사했습니다. 세 가지 경쟁 메커니즘을 평가한 병렬 매개 모델에서는 형용사 비율 감소로 측정된 현실 모니터링(reality monitoring)이 연구 부정과 언어적 난독화 간의 연관성을 가장 잘 설명하는 것으로 나타났습니다. 난독화 특징을 사용한 교차 검증 탐지 정확도(60.7%)와 100개 이상의 언어 차원을 활용한 일래스틱 넷(elastic net) 모델의 정확도(71.6%)는 우연 수준보다 유의미하게 높았습니다. 과학 연구 부정 및 언어 심리학 연구에 대한 시사점을 논의합니다.

arXiv:2609.35821v2cs.CL공통 태그 Text Classification, Misinformation

CrisisFake: 재난 소셜 센싱을 위한 AI 생성 텍스트 탐지의 벤치마크 유효성 평가

CrisisFake: Benchmark Validity of AI-Generated Text Detection for Disaster Social Sensing

재난 소셜 센싱은 대중의 소셜 미디어 게시물을 상황 인지 및 인도주의적 대응을 위한 근거로 변환하지만, 그럴듯한 대규모 언어 모델(LLM) 생성 게시물은 이러한 정보 흐름을 오염시키고 피해, 요구사항, 자원 우선순위 평가를 왜곡할 수 있습니다. 본 연구는 텍스트 기반 탐지기가 사람이 작성한 재난 게시물과 LLM이 생성한 재난 게시물을 구별할 수 있는지, 그리고 그 판단의 기반이 되는 텍스트 단서가 무엇인지를 실증적으로 조사합니다. 우리는 9개 재난 사건에서 수집한 3,000개의 매칭된 시맨틱 단위로 구성된 12,000개 텍스트 규모의 Qwen2.5-7B 기반 데이터셋인 CrisisFake를 구축했습니다. 각 단위는 사람이 작성한 원본 게시물, LLM이 최소한으로 교정한 게시물, LoRA를 사용해 사실을 보존하며 생성한 LLM 게시물, 그리고 해당 인공 게시물의 정서적 프레임을 재구성한 버전으로 구성됩니다. 모델 선택 및 임계값 캘리브레이션을 지원하기 위해 42개 재난 사건에 걸친 6,000개 텍스트 규모의 별도 말뭉치도 독립적으로 구축되었습니다. 우리는 5개 모델 계열에 걸쳐 OSM-Det, Fast-DetectGPT, Binoculars 및 직접적인 LLM 판별기를 평가하고, 재난 도메인 캘리브레이션과 리트윗 마커, 사용자 멘션, 해시태그, URL, 구두점, 텍스트 길이와 같은 표면적 언어적 단서가 탐지기 성능에 어떤 영향을 미치는지 추가로 조사합니다. 14개의 고정(frozen) 구성 전반에서 AUROC는 0.402에서 0.517 사이에 머물렀으며, 캘리브레이션을 통해 도출한 낮은 위양성(false-positive) 동작 지점에서의 최고 예측 재현율은 3.6%에 불과해 무작위 추측에 가까운 구별 능력을 보였습니다. OSM-Det의 경우 재난 도메인에 캘리브레이션된 선형 헤드를 적용하면 AUROC가 0.817로 향상되지만, 7개 특징(feature)만을 사용한 텍스트 분류기만으로도 원본 대 사실적 LLM 생성 대조군에서 AUROC 0.784에 도달하며, 확인된 표면적 비대칭성을 중립화하면 해당 선형 헤드의 AUROC는 0.733에서 0.594로 떨어집니다. 이러한 결과는 LLM 생성 텍스트 탐지가 주로 언어적 단서에 의해 유도되며, 단문 형태의 재난 소셜 미디어에 적용하기에는 여전히 충분히 강건하지 않다는 실증적 근거를 제시합니다.

arXiv:2609.27811v1cs.SI공통 태그 Text Classification, Misinformation

언어 모델을 활용한 브라질 YouTube 10년간의 기후 양극화

A Decade of Climate Polarization on Brazilian YouTube using Language Models

온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.

arXiv:2609.25006v1cs.CL공통 태그 Text Classification, Misinformation

99% 정확도는 무엇을 측정하는가? 널리 쓰이는 가짜 뉴스 코퍼스의 숏컷 학습에 대한 재현 가능한 감사

What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus

ISOT/Kaggle "Fake and Real News" 코퍼스로 학습한 텍스트 분류기는 정확도와 F1이 0.98을 넘는다고 일상적으로 보고되는데, 이는 진위 여부를 판단하는 일의 어려움을 생각하면 어색한 수준의 성능이다. 우리는 투명한 TF-IDF 및 선형 분류기 파이프라인을 측정 도구로 사용하여, 세 가지 누수 경로와 두 가지 분포 변화 프로토콜에 따라 이 코퍼스를 감사하고, 모든 코드와 도출된 수치를 공개한다. 첫째, 이 벤치마크는 부분적으로 퇴화되어 있다. 기사 본문을 버리고 subject 메타데이터 필드만 입력받은 분류기가 F1 = 1.000을 달성하는데, 이는 두 클래스가 서로 겹치지 않는 subject를 갖기 때문이다. 둘째, 세 가지 누수 경로인 메타데이터, 실제 기사의 99.2%에 존재하는 뉴스통신사 출처 태그, 그리고 단순하게 나눈 테스트 분할의 19.4%를 오염시키는 6,251개의 중복 문서를 모두 제거해도 F1은 1.21포인트(0.9935에서 0.9814로)만 낮아진다. 남은 신호는 몇 개의 결정적인 토큰이 아니라 확산된 편집 문체이며, 가중치가 가장 높은 유니그램 1,000개를 삭제하더라도 F1은 여전히 0.926이다. 셋째, 이러한 문체 신호는 전이되지 않는다. 주제가 서로 겹치지 않는(topic-disjoint) 프로토콜에서는 평균 정밀도(average precision)가 0.9995에서 0.9475로, 실제 배포 시점의 F1이 0.9905에서 0.8067로 하락하며, 사전확률을 맞춘(prior-matched) 분석은 판별력이 실제로 5.2포인트 감소했음을 확인해 준다. 반면 시간적 전이는 거의 손실이 없다. 파인튜닝한 DistilBERT는 분포 내에서는 더 강하지만(F1 = 0.9993) 주제 변화에서는 훨씬 더 크게 저하되어, 선형 모델의 5.2포인트에 비해 평균 정밀도가 12.9포인트 감소한다. 독립적인 LIAR 벤치마크로 전이하면 세 모델 모두 무작위에 가까운 순위 성능(ROC-AUC 0.54-0.57)으로 떨어지며, 어느 것도 다수 클래스 기준선(majority-class baseline)을 넘지 못한다. 우리는 이 코퍼스 내부의 점수가 진위 여부가 아니라 출처와 주제의 분리 가능성을 정량화하며, 모델 용량을 늘리면 숏컷을 피하기보다 오히려 이용하게 된다고 결론짓고, 향후 연구를 위한 저비용 진단 수단으로 메타데이터 전용, 소규모 표본, 주제 비중첩 기준선을 사용할 것을 권고한다.

arXiv:2609.26034v1cs.CL공통 태그 Text Classification, Domain Adaptation

대규모 구조화 문헌 마이닝을 위한 도메인 적응 사전학습 기반 수처리 의미 표상 향상

Domain-Adaptive Pretraining Enhances Water Treatment Semantic Representation for Large-Scale Structured Literature Mining

수처리 연구가 급격히 확장되고 있으나, 이러한 연구로부터 도출된 많은 지식은 비정형 문헌 전반에 흩어져 있는 상태로 남아 있다. 이 분야는 대규모 문헌 마이닝을 위해 수처리 특화 도메인 의미를 효율적으로 포착할 수 있는 전용 언어 모델이 여전히 부족하다. 본 연구에서는 수처리 텍스트로부터 의미 표상(semantic representation) 및 구조화된 정보 추출을 수행하도록 설계된 도메인 적응 인코더 모델인 WaterBERT를 개발하여 이를 해결한다. WaterBERT는 약 29억 7천만 개의 토큰으로 구성된 대규모 수처리 말뭉치에 대한 지속 사전학습(continual pretraining)을 통해 개발되었다. WaterBERT를 기반으로 파인튜닝된 세 가지 모델을 다운스트림 태스크에서 체계적으로 평가한 결과, 다중 클래스 처리 공정 분류에서 F1 점수 90.12%, 개체명 인식에서 79.50%, 관계 추출에서 74.04%를 기록하며 범용 및 도메인 특화 BERT 모델 중 전반적으로 가장 우수한 성능을 달성했다. 이러한 벤치마크 태스크를 넘어, 대규모 문헌 처리에 대한 WaterBERT의 이점을 추가로 입증했다. 5,144편의 Environmental Science & Technology 논문에 적용된 WaterBERT-BERTopic은 사전에 정의된 범주 없이도 일관되고 다양하며 도메인에 특화된 연구 주제를 식별했다. WaterBERT를 기반으로 693,211개의 초록을 처리하여 상용 대규모 언어 모델(LLM)보다 현저히 낮은 비용으로 경쟁력 있는 추출 성능을 유지하면서 구조화된 수처리 지식 그래프를 구축했다. 이후 이 지식 그래프를 어휘 및 조밀 검색(dense retrieval)과 통합하여 수처리 지식 증강 검색 시스템(WaterKERS)을 개발했으며, 이는 관련성 점수 77.7을 달성하여 텍스트 기반 검색 베이스라인(54.7-64.5)을 크게 능가했다. 본 연구는 WaterBERT를 통해 수처리 연구에서의 대규모 정보 처리 및 근거 매핑을 위한 컴팩트하고 확장 가능한 의미론적 기반을 제공한다.

arXiv:2607.23493v1cs.CV공통 태그 Text Classification, Misinformation

다중모달 정서 해석을 위한 토큰-영역 유도 교차 어텐션 융합

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

소셜 네트워크상의 다중모달 콘텐츠에 대한 자동 분석은 디지털 시대에 대중 정서와 정보 확산을 이해하기 위한 핵심 과제가 되었다. 그러나 인터넷 밈 분류는 시각적 단서와 내장된, 종종 스타일화된 텍스트 간의 복잡한 상호작용으로 인해, 특히 벵골어와 같은 저자원 언어에서는 여전히 계산적으로 어려운 과제로 남아 있다. 본 논문은 Multimodal Cross-Attention Fusion 프레임워크를 도입하여 벵골어 밈에서의 정치적 의도 탐지 문제를 다룬다. 먼저 비전-언어 모델(Vision-Language Model)을 활용하여 노이즈가 많은 밈 이미지로부터 고품질 OCR 텍스트를 추출한다. 이어서 시각 및 텍스트 특징을 인코딩하고, 의미 토큰을 시각 영역과 정렬하는 교차 모달 다중 헤드 어텐션 메커니즘을 통해 이를 융합한다. 또한 도메인 특화 정치 어휘집을 지식 사전(knowledge prior)으로 통합하는 방안을 탐구한다. PoliMemeDecode1 데이터셋에 대한 실험 평가 결과, 우리의 어텐션 기반 융합은 단일 모달 기준선 및 표준 연결(concatenation) 방법을 크게 능가하며, 약 0.94의 최첨단 Macro-F1을 달성하였다. 해석 가능성 분석은 또한 모델이 텍스트 의미를 시각적 증거에 효과적으로 그라운딩(grounding)하도록 학습함을 확인한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.