arXiv:2610.13678v1 cs.CL

철회 논문 재조명: 연구 부정 논문에서의 언어적 난독화 효과에 대한 재현, 확장 및 메커니즘적 평가

Retractions Revisited: A Replication, Extension, and Mechanistic Evaluation of Linguistic Obfuscation Effects in Fraudulent Science

David M. Markowitz

제출 2026-10-09

한국어 초록

선행 연구에서는 연구 부정을 저지른 과학자가 진실된 과학자보다 더 높은 비율의 언어적 난독화를 사용하여 논문을 작성하며, 이러한 난독화가 독자의 연구 분석 비용을 높인다는 점을 가능한 메커니즘으로 제시합니다. 그러나 이 결과는 오픈 사이언스(open science) 시대에 추가적인 실증적 검증을 거치지 않았으며, 다른 심리학적 메커니즘 또한 평가되지 않았습니다. 본 재현 및 확장 연구는 800편의 부정 논문과 800편의 진실된 대조군 논문(2013~2025년)을 비교하여 이러한 기회를 다루었습니다. 연구 결과는 언어적 난독화 가설을 지지하여, 부정 논문이 진실된 논문보다 더 난독화되었음을 시사했습니다. 세 가지 경쟁 메커니즘을 평가한 병렬 매개 모델에서는 형용사 비율 감소로 측정된 현실 모니터링(reality monitoring)이 연구 부정과 언어적 난독화 간의 연관성을 가장 잘 설명하는 것으로 나타났습니다. 난독화 특징을 사용한 교차 검증 탐지 정확도(60.7%)와 100개 이상의 언어 차원을 활용한 일래스틱 넷(elastic net) 모델의 정확도(71.6%)는 우연 수준보다 유의미하게 높았습니다. 과학 연구 부정 및 언어 심리학 연구에 대한 시사점을 논의합니다.

원문 초록

Prior work suggests fraudulent scientists write their articles with higher rates of linguistic obfuscation than genuine scientists, with a possible mechanism suggesting obfuscation makes research more costly for a reader to analyze. This result has not undergone additional empirical scrutiny in the open science era, nor have other psychological mechanisms been evaluated. The current replication and extension addressed this opportunity by comparing 800 fraudulent and 800 genuine control papers (2013-2025). The results supported the linguistic obfuscation hypothesis, suggesting fraudulent papers were more obfuscated than genuine ones. A parallel mediation model evaluated three competing mechanisms, finding that reality monitoring, as measured through decreased rates of adjectives, best explained the link between fraudulent science and linguistic obfuscation. Cross-validated detection accuracy using obfuscation features (60.7%) and an elastic net of over 100 language dimensions (71.6%) were significantly greater than chance. Implications for scientific fraud and psychology of language research are discussed.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13678v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.35821v2cs.CL공통 태그 Text Classification, Misinformation

CrisisFake: 재난 소셜 센싱을 위한 AI 생성 텍스트 탐지의 벤치마크 유효성 평가

CrisisFake: Benchmark Validity of AI-Generated Text Detection for Disaster Social Sensing

재난 소셜 센싱은 대중의 소셜 미디어 게시물을 상황 인지 및 인도주의적 대응을 위한 근거로 변환하지만, 그럴듯한 대규모 언어 모델(LLM) 생성 게시물은 이러한 정보 흐름을 오염시키고 피해, 요구사항, 자원 우선순위 평가를 왜곡할 수 있습니다. 본 연구는 텍스트 기반 탐지기가 사람이 작성한 재난 게시물과 LLM이 생성한 재난 게시물을 구별할 수 있는지, 그리고 그 판단의 기반이 되는 텍스트 단서가 무엇인지를 실증적으로 조사합니다. 우리는 9개 재난 사건에서 수집한 3,000개의 매칭된 시맨틱 단위로 구성된 12,000개 텍스트 규모의 Qwen2.5-7B 기반 데이터셋인 CrisisFake를 구축했습니다. 각 단위는 사람이 작성한 원본 게시물, LLM이 최소한으로 교정한 게시물, LoRA를 사용해 사실을 보존하며 생성한 LLM 게시물, 그리고 해당 인공 게시물의 정서적 프레임을 재구성한 버전으로 구성됩니다. 모델 선택 및 임계값 캘리브레이션을 지원하기 위해 42개 재난 사건에 걸친 6,000개 텍스트 규모의 별도 말뭉치도 독립적으로 구축되었습니다. 우리는 5개 모델 계열에 걸쳐 OSM-Det, Fast-DetectGPT, Binoculars 및 직접적인 LLM 판별기를 평가하고, 재난 도메인 캘리브레이션과 리트윗 마커, 사용자 멘션, 해시태그, URL, 구두점, 텍스트 길이와 같은 표면적 언어적 단서가 탐지기 성능에 어떤 영향을 미치는지 추가로 조사합니다. 14개의 고정(frozen) 구성 전반에서 AUROC는 0.402에서 0.517 사이에 머물렀으며, 캘리브레이션을 통해 도출한 낮은 위양성(false-positive) 동작 지점에서의 최고 예측 재현율은 3.6%에 불과해 무작위 추측에 가까운 구별 능력을 보였습니다. OSM-Det의 경우 재난 도메인에 캘리브레이션된 선형 헤드를 적용하면 AUROC가 0.817로 향상되지만, 7개 특징(feature)만을 사용한 텍스트 분류기만으로도 원본 대 사실적 LLM 생성 대조군에서 AUROC 0.784에 도달하며, 확인된 표면적 비대칭성을 중립화하면 해당 선형 헤드의 AUROC는 0.733에서 0.594로 떨어집니다. 이러한 결과는 LLM 생성 텍스트 탐지가 주로 언어적 단서에 의해 유도되며, 단문 형태의 재난 소셜 미디어에 적용하기에는 여전히 충분히 강건하지 않다는 실증적 근거를 제시합니다.

arXiv:2609.27811v1cs.SI공통 태그 Text Classification, Misinformation

언어 모델을 활용한 브라질 YouTube 10년간의 기후 양극화

A Decade of Climate Polarization on Brazilian YouTube using Language Models

온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.

arXiv:2609.25006v1cs.CL공통 태그 Text Classification, Misinformation

99% 정확도는 무엇을 측정하는가? 널리 쓰이는 가짜 뉴스 코퍼스의 숏컷 학습에 대한 재현 가능한 감사

What Does 99% Accuracy Measure? A Reproducible Audit of Shortcut Learning in a Widely Used Fake News Corpus

ISOT/Kaggle "Fake and Real News" 코퍼스로 학습한 텍스트 분류기는 정확도와 F1이 0.98을 넘는다고 일상적으로 보고되는데, 이는 진위 여부를 판단하는 일의 어려움을 생각하면 어색한 수준의 성능이다. 우리는 투명한 TF-IDF 및 선형 분류기 파이프라인을 측정 도구로 사용하여, 세 가지 누수 경로와 두 가지 분포 변화 프로토콜에 따라 이 코퍼스를 감사하고, 모든 코드와 도출된 수치를 공개한다. 첫째, 이 벤치마크는 부분적으로 퇴화되어 있다. 기사 본문을 버리고 subject 메타데이터 필드만 입력받은 분류기가 F1 = 1.000을 달성하는데, 이는 두 클래스가 서로 겹치지 않는 subject를 갖기 때문이다. 둘째, 세 가지 누수 경로인 메타데이터, 실제 기사의 99.2%에 존재하는 뉴스통신사 출처 태그, 그리고 단순하게 나눈 테스트 분할의 19.4%를 오염시키는 6,251개의 중복 문서를 모두 제거해도 F1은 1.21포인트(0.9935에서 0.9814로)만 낮아진다. 남은 신호는 몇 개의 결정적인 토큰이 아니라 확산된 편집 문체이며, 가중치가 가장 높은 유니그램 1,000개를 삭제하더라도 F1은 여전히 0.926이다. 셋째, 이러한 문체 신호는 전이되지 않는다. 주제가 서로 겹치지 않는(topic-disjoint) 프로토콜에서는 평균 정밀도(average precision)가 0.9995에서 0.9475로, 실제 배포 시점의 F1이 0.9905에서 0.8067로 하락하며, 사전확률을 맞춘(prior-matched) 분석은 판별력이 실제로 5.2포인트 감소했음을 확인해 준다. 반면 시간적 전이는 거의 손실이 없다. 파인튜닝한 DistilBERT는 분포 내에서는 더 강하지만(F1 = 0.9993) 주제 변화에서는 훨씬 더 크게 저하되어, 선형 모델의 5.2포인트에 비해 평균 정밀도가 12.9포인트 감소한다. 독립적인 LIAR 벤치마크로 전이하면 세 모델 모두 무작위에 가까운 순위 성능(ROC-AUC 0.54-0.57)으로 떨어지며, 어느 것도 다수 클래스 기준선(majority-class baseline)을 넘지 못한다. 우리는 이 코퍼스 내부의 점수가 진위 여부가 아니라 출처와 주제의 분리 가능성을 정량화하며, 모델 용량을 늘리면 숏컷을 피하기보다 오히려 이용하게 된다고 결론짓고, 향후 연구를 위한 저비용 진단 수단으로 메타데이터 전용, 소규모 표본, 주제 비중첩 기준선을 사용할 것을 권고한다.

arXiv:2607.04962v2cs.CL공통 태그 Text Classification, Misinformation

배후는 누구인가? 독일어 텔레그램 게시물에서 음모론적 행위자 어노테이션 및 추출

Who's Behind It? Annotating and Extracting Conspiratorial Actors from German Telegram Posts

음모론은 흔히 중요한 사건을 강력하고 비밀스러운 행위자의 행동 탓으로 돌립니다. 계산적 연구는 주로 음모론에 대한 문서 수준의 분석에 집중해 온 반면, 이러한 서사를 이끄는 행위자를 식별하는 데는 상대적으로 덜 주목해 왔습니다. 본 연구에서는 음모론적 행위자에 대한 어노테이션 가이드라인을 개발하고, 스팬(span) 어노테이션이 적용된 독일어 텔레그램 게시물 코퍼스를 제시하며, 트랜스포머(transformer) 기반 모델을 사용한 자동 추출을 조사합니다. 나아가 도출된 모델을 독일어 음모론 관련 텔레그램 채널의 대규모 아카이브인 Schwurbelarchiv에 적용합니다. 실험 결과는 음모론 담화의 언어적 복잡성에도 불구하고 음모론적 행위자를 유의미한 일치도로 어노테이션할 수 있으며 합리적인 정확도로 추출할 수 있음을 보여주어, 음모론 서사에서 행위자 표현에 대한 대규모 분석을 가능하게 합니다.

arXiv:2607.23493v1cs.CV공통 태그 Text Classification, Misinformation

다중모달 정서 해석을 위한 토큰-영역 유도 교차 어텐션 융합

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

소셜 네트워크상의 다중모달 콘텐츠에 대한 자동 분석은 디지털 시대에 대중 정서와 정보 확산을 이해하기 위한 핵심 과제가 되었다. 그러나 인터넷 밈 분류는 시각적 단서와 내장된, 종종 스타일화된 텍스트 간의 복잡한 상호작용으로 인해, 특히 벵골어와 같은 저자원 언어에서는 여전히 계산적으로 어려운 과제로 남아 있다. 본 논문은 Multimodal Cross-Attention Fusion 프레임워크를 도입하여 벵골어 밈에서의 정치적 의도 탐지 문제를 다룬다. 먼저 비전-언어 모델(Vision-Language Model)을 활용하여 노이즈가 많은 밈 이미지로부터 고품질 OCR 텍스트를 추출한다. 이어서 시각 및 텍스트 특징을 인코딩하고, 의미 토큰을 시각 영역과 정렬하는 교차 모달 다중 헤드 어텐션 메커니즘을 통해 이를 융합한다. 또한 도메인 특화 정치 어휘집을 지식 사전(knowledge prior)으로 통합하는 방안을 탐구한다. PoliMemeDecode1 데이터셋에 대한 실험 평가 결과, 우리의 어텐션 기반 융합은 단일 모달 기준선 및 표준 연결(concatenation) 방법을 크게 능가하며, 약 0.94의 최첨단 Macro-F1을 달성하였다. 해석 가능성 분석은 또한 모델이 텍스트 의미를 시각적 증거에 효과적으로 그라운딩(grounding)하도록 학습함을 확인한다.

arXiv:2607.20645v1cs.CL공통 태그 Text Classification, Misinformation

Frontier Financial Judgement: 에이전트는 주가에 영향을 줄 수 있는 정보를 판별할 수 있는가

Frontier Financial Judgement: Can agents tell what might move a stock?

우리는 전문 주식 애널리스트와 협력하여 개발한 새로운 도전적인 벤치마크인 Frontier Financial Judgement를 소개한다. 이 벤치마크는 에이전트가 전문가의 인간 판단을 재현하는 능력을 평가하기 위한 것이다. 새로운 정보를 신속히 식별하고, 그 함의를 평가하며, 밸류에이션 영향을 판단하는 것은 실제 주식 리서치에서 가장 시간이 많이 소요되고 어려운 측면 중 하나이다. AI가 처리해야 할 새로운 정보의 양을 급격히 늘리면서, 이는 점점 더 어려워지고 중요해지고 있다. Frontier Financial Judgement에서 평가한 가장 강력한 에이전트도 전체 사례의 52.4%에서만 전문가 라벨과 모두 일치한다. 또한 프런티어 에이전트들 사이에서 추정 오탐(false-positive) 비율에 상당한 차이가 있음을 발견했는데, GPT-5.6 Sol은 약 1%에서 Claude Sonnet 4.6은 약 32%까지 범위를 보인다. 벤치마크를 구성하고 실제 환경을 대표하도록 하기 위해, 사람이 설계하고 라벨링한 합성 기사와 실시간 뉴스 기사 및 역사적 문서를 결합하여 평가용 656개 항목을 만들었다. 그 결과 생성된 과제는 에이전트가 현실적인 조건에서 진정으로 새로운 밸류에이션 관련 금융 정보를 오래된, 중요하지 않거나 오해를 유발하는 뉴스와 구별해야 한다. 우리는 에이전트 정확도, 비용, 오탐, 신뢰성 사이에 상당한 트레이드오프가 존재하며, 이는 실무에서 뉴스 흐름 필터링의 안정적인 배포를 계속해서 저해한다는 것을 발견했다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.