arXiv:2609.35821v2 cs.CL

CrisisFake: 재난 소셜 센싱을 위한 AI 생성 텍스트 탐지의 벤치마크 유효성 평가

CrisisFake: Benchmark Validity of AI-Generated Text Detection for Disaster Social Sensing

Xiaoshan Zhou, Zaifu Zhan

제출 2026-09-21

한국어 초록

재난 소셜 센싱은 대중의 소셜 미디어 게시물을 상황 인지 및 인도주의적 대응을 위한 근거로 변환하지만, 그럴듯한 대규모 언어 모델(LLM) 생성 게시물은 이러한 정보 흐름을 오염시키고 피해, 요구사항, 자원 우선순위 평가를 왜곡할 수 있습니다. 본 연구는 텍스트 기반 탐지기가 사람이 작성한 재난 게시물과 LLM이 생성한 재난 게시물을 구별할 수 있는지, 그리고 그 판단의 기반이 되는 텍스트 단서가 무엇인지를 실증적으로 조사합니다. 우리는 9개 재난 사건에서 수집한 3,000개의 매칭된 시맨틱 단위로 구성된 12,000개 텍스트 규모의 Qwen2.5-7B 기반 데이터셋인 CrisisFake를 구축했습니다. 각 단위는 사람이 작성한 원본 게시물, LLM이 최소한으로 교정한 게시물, LoRA를 사용해 사실을 보존하며 생성한 LLM 게시물, 그리고 해당 인공 게시물의 정서적 프레임을 재구성한 버전으로 구성됩니다. 모델 선택 및 임계값 캘리브레이션을 지원하기 위해 42개 재난 사건에 걸친 6,000개 텍스트 규모의 별도 말뭉치도 독립적으로 구축되었습니다. 우리는 5개 모델 계열에 걸쳐 OSM-Det, Fast-DetectGPT, Binoculars 및 직접적인 LLM 판별기를 평가하고, 재난 도메인 캘리브레이션과 리트윗 마커, 사용자 멘션, 해시태그, URL, 구두점, 텍스트 길이와 같은 표면적 언어적 단서가 탐지기 성능에 어떤 영향을 미치는지 추가로 조사합니다. 14개의 고정(frozen) 구성 전반에서 AUROC는 0.402에서 0.517 사이에 머물렀으며, 캘리브레이션을 통해 도출한 낮은 위양성(false-positive) 동작 지점에서의 최고 예측 재현율은 3.6%에 불과해 무작위 추측에 가까운 구별 능력을 보였습니다. OSM-Det의 경우 재난 도메인에 캘리브레이션된 선형 헤드를 적용하면 AUROC가 0.817로 향상되지만, 7개 특징(feature)만을 사용한 텍스트 분류기만으로도 원본 대 사실적 LLM 생성 대조군에서 AUROC 0.784에 도달하며, 확인된 표면적 비대칭성을 중립화하면 해당 선형 헤드의 AUROC는 0.733에서 0.594로 떨어집니다. 이러한 결과는 LLM 생성 텍스트 탐지가 주로 언어적 단서에 의해 유도되며, 단문 형태의 재난 소셜 미디어에 적용하기에는 여전히 충분히 강건하지 않다는 실증적 근거를 제시합니다.

원문 초록

Disaster social sensing converts public social-media posts into evidence for situational awareness and humanitarian response, but plausible LLM-generated posts can contaminate this information stream and distort assessments of needs, damage, and resource priorities. This study empirically investigates whether text-based detectors can distinguish human-authored from LLM-generated disaster posts and what textual cues underlie their judgments. We construct CrisisFake, a Qwen2.5-7B-based dataset of 12,000 texts organized into 3,000 matched semantic units from nine disasters. Each unit contains an original human post, a minimally LLM-proofread human post, a fact-preserving LLM-generated post produced using LoRA, and an affectively reframed version of the artificial post. A separate 6,000-text corpus spanning 42 disaster events is independently constructed to support model selection and threshold calibration. We evaluate OSM-Det, Fast-DetectGPT, Binoculars, and direct LLM judges across five model families, and further examine how disaster-domain calibration and superficial linguistic cues, such as retweet markers, user mentions, hashtags, URLs, punctuation, and text length, affect detector performance. Across fourteen frozen configurations, AUROC ranges from 0.402 to 0.517, while the best prospective recall at a calibration-derived low-false-positive operating point is only 3.6%, indicating near-chance discrimination. For OSM-Det, a disaster-calibrated linear head improves AUROC to 0.817; however, a seven-feature textual classifier alone reaches AUROC 0.784 on the original-versus-factual-LLM contrast, and neutralizing identified surface asymmetries reduces the corresponding linear-head AUROC from 0.733 to 0.594. These findings provide empirical evidence that LLM-generated text detection is largely driven by linguistic cues and remains insufficiently robust for short-form disaster social media.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.35821v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15870v1cs.CL공통 태그 Text Classification, Benchmarking, ai-generated text detection

검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가

Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh

AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.

arXiv:2610.15732v1cs.CL공통 태그 Text Classification, Benchmarking

NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크

NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse

다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.

arXiv:2610.13583v1cs.CL공통 태그 Text Classification, Benchmarking

기계 생성 텍스트 탐지기의 아티팩트 의존성 측정

Measuring Artifact Reliance in Machine-Generated Text Detectors

기계 생성 텍스트 탐지기는 과학 문헌 벤치마크에서 거의 완벽한 점수를 기록하는데, 이는 이러한 탐지기로 인간이 작성한 문서와 기계가 생성한 문서를 신뢰성 있게 구별할 수 있음을 암시한다. 우리는 여섯 개의 널리 사용되는 자료원에서 추출한 열 개의 과학 문서 서브셋을 살펴보았으며, 그중 여러 서브셋에서는 이러한 겉보기의 용이함이 문서가 구성된 방식에서 비롯된 부수 효과임을 확인했다. 27개의 표면적 특징(superficial feature)을 사용한 로지스틱 회귀(logistic regression)는 0.833-0.997의 매크로(macro) F1을 기록했으며, 세 개의 arXiv 서브셋에서는 우리가 평가한 모든 탐지기를 능가하여 0.951-0.997의 F1 점수를 보였다. 탐지기에 가장 강력한 단서는 PDF 추출 아티팩트(artifact)이다: 인간이 작성한 텍스트는 원래의 줄 바꿈을 유지하는 반면, 생성된 텍스트는 단일한 연속된 문장 블록으로 추출된다. 이 단서는 다른 세 가지 서식 특징과 함께 0.996의 AUC로 두 클래스를 구별해낸다. 이러한 신호를 포함하는 벤치마크와 그 신호에 의존하는 탐지기를 구별하기 위해, 우리는 서식 반사실(format counterfactual)을 도입한다: 단 한 단어도 바꾸지 않고 기계가 작성한 초록을 다시 줄바꿈하는 것만으로도 공개된 한 탐지기의 정확한 판단 중 20-27%가 뒤바뀐다. 학습 전에 서식을 정규화(normalizing)하면 일반화 격차(generalization gap)가 0.32에서 0.22로 줄어든다. 서식이 정제된 벤치마크에서는, 아티팩트가 포함된 서브셋으로 학습된 탐지기의 도메인 외(out-of-domain) 매크로 F1 또한 0.33에서 0.65로 향상된다.

arXiv:2610.13678v1cs.CL공통 태그 Text Classification, Misinformation

철회 논문 재조명: 연구 부정 논문에서의 언어적 난독화 효과에 대한 재현, 확장 및 메커니즘적 평가

Retractions Revisited: A Replication, Extension, and Mechanistic Evaluation of Linguistic Obfuscation Effects in Fraudulent Science

선행 연구에서는 연구 부정을 저지른 과학자가 진실된 과학자보다 더 높은 비율의 언어적 난독화를 사용하여 논문을 작성하며, 이러한 난독화가 독자의 연구 분석 비용을 높인다는 점을 가능한 메커니즘으로 제시합니다. 그러나 이 결과는 오픈 사이언스(open science) 시대에 추가적인 실증적 검증을 거치지 않았으며, 다른 심리학적 메커니즘 또한 평가되지 않았습니다. 본 재현 및 확장 연구는 800편의 부정 논문과 800편의 진실된 대조군 논문(2013~2025년)을 비교하여 이러한 기회를 다루었습니다. 연구 결과는 언어적 난독화 가설을 지지하여, 부정 논문이 진실된 논문보다 더 난독화되었음을 시사했습니다. 세 가지 경쟁 메커니즘을 평가한 병렬 매개 모델에서는 형용사 비율 감소로 측정된 현실 모니터링(reality monitoring)이 연구 부정과 언어적 난독화 간의 연관성을 가장 잘 설명하는 것으로 나타났습니다. 난독화 특징을 사용한 교차 검증 탐지 정확도(60.7%)와 100개 이상의 언어 차원을 활용한 일래스틱 넷(elastic net) 모델의 정확도(71.6%)는 우연 수준보다 유의미하게 높았습니다. 과학 연구 부정 및 언어 심리학 연구에 대한 시사점을 논의합니다.

arXiv:2609.33155v2cs.CL공통 태그 Text Classification, Benchmarking

개인 입장 예측에서 테스트 시점 스케일링과 학습의 한계는 어디에 있는가?

Where Do Test-Time Scaling and Training Fall Short in Individual Stance Prediction?

테스트 시점 스케일링(test-time scaling)과 사후 학습(post-training)은 코딩 및 수학적 추론 분야에서 대규모 언어 모델(LLM)의 성능을 향상시켰으나, 개인 입장 예측(individual stance prediction)에 대한 효과는 여전히 불분명하다. 본 연구에서는 개인의 과거 이력으로부터 새로운 토론에서 해당 인물의 입장을 예측함으로써 이 문제를 탐구한다. 널리 사용되는 테스트 시점 스케일링 전략과 지도 미세조정(supervised fine-tuning), 강화학습(reinforcement learning) 등의 사후 학습 기법을 평가하고, 생성, 선택, 학습 전반에 걸친 네 가지 실패 양상을 식별한다: (1) 반복된 샘플들이 잘못된 입장에 동의하는 부정확한 합의(incorrect consensus), (2) 생성 단계에서는 관찰된 입장을 포함하지만 선택 단계에서 이를 놓치는 선택 실패(selection failure), (3) 지도 미세조정이 모방 능력은 향상시키지만 예측에는 악영향을 미치는 응답 과적합(response overfitting), (4) 강화학습이 초기에 완만한 성능 향상을 보인 후 추가적인 개선이 제한되는 조기 정체(early plateau). 저자들은 500명의 Hacker News 사용자로부터 추출한 2,499개의 예측 태스크를 포함하는 STANCE-BENCH를 사용하여 이러한 실패 양상을 밝혀낸다. 이러한 분석을 바탕으로, 모든 후보 입장에 대한 직접 점수와 개인의 이력에서 얻은 지지 여부에 대한 명시적 평가를 결합하는 간단한 접근 방식을 탐색한다. 781개 태스크로 구성된 테스트 세트에서 이 접근 방식은 Qwen3-8B를 통해 21.83의 토론 특정 Macro F1을 달성하여 직접 채점의 19.27과 대비되는 성능을 보였다. 본 연구 결과는 후보 생성, 최종 선택, 개인별 근거 활용을 분리하여 평가할 필요성을 제시한다. 데이터셋은 https://github.com/stance-bench/Stance-Bench 에서 이용할 수 있다.

arXiv:2610.00531v1cs.AI공통 태그 Benchmarking, ai-generated text detection

과학인가 조잡한 생성물인가?: AI 생성 논문 내 과학적 무성의함 벤치마킹 및 완화

Science or Slop?: Benchmarking and Mitigating Scientific Slop in AI-Generated Papers

흔히 AI 슬롭(AI slop)이라 불리는 AI 생성 콘텐츠는 모든 분야에서, 특히 학계에서 점점 더 흔해지고 있습니다. 그러나 AI가 생성한 과학 논문 속 슬롭은 기존 토큰(token) 기반 AI 탐지기로는 쉽게 감지할 수 없는 보다 복잡한 패턴을 지닙니다. 이러한 논문은 각 부분이 그럴듯해 보이지만 부분들을 연결하는 과학적 추론이 무너지며, 이는 독자가 연구를 평가하는 방식을 오도할 수 있습니다. 본 연구에서는 구조(Structure), 논증(Argument), 인공물(Artifacts)에 걸친 6가지 척도를 통해 이러한 결함을 과학적 슬롭으로 벤치마킹합니다. 주로 컴퓨터 과학 분야를 다루되 생명, 사회, 자연과학을 아우르는 390편의 AI 생성 논문으로 SciSlopBench를 구축하였으며, 각 논문은 연구 문제와 기여 유형이 일치하는 인간이 작성한 논문과 쌍을 이루도록 했습니다. 제안하는 척도는 68.7%의 정확도를 보인 Binoculars에 비해 각 쌍에서 85.9%의 정확도로 AI 논문을 식별합니다. 더 높은 과학적 슬롭은 더 낮은 ICLR 점수와 연관되며, 2017년부터 2025년까지 매년 우연 수준 이상으로 탈락 논문과 채택 논문을 구분합니다. 그러나 이러한 패턴을 줄이는 것은 척도를 직접 최적화하는 것만큼 단순하지 않습니다. 이에 따라 실험 기록이 수정을 뒷받침하는 경우에만 고정된 대규모 언어 모델(LLM)이 슬롭을 수정하도록 안내하는 하네스 수준의 프레임워크인 SciSlopHarness를 제안합니다. 표준적인 수정은 잔여 슬롭을 남기고 직접적인 슬롭 인지 프롬프트는 보상(reward) 해킹을 유발하는 반면, SciSlopHarness는 인간 참조 목표 없이도 가장 강력한 수정 기준선(baseline) 대비 남은 AI-인간 격차를 63% 줄입니다. 전반적으로 AI가 생성한 과학 논문은 전역적 추론에 근본적인 흔적을 남기며, 책임감 있는 완화를 위해서는 단순한 문장 다듬기가 아닌 엄격한 증거 기반 그라운딩(grounding)이 필요함을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.