arXiv:2604.06820v3 cs.AI

공유 질문은 무엇을 더해주는가? 오정보에 대한 LLM 설문 점수 감사

What Does a Sharing Question Add? Auditing LLM Survey Scores for Misinformation

Zonghuan Xu, Xiang Zheng, Yutao Wu, Xingjun Ma

제출 2026-04-08

저자 비고

arXiv Comments

12 pages, 3 figures. Substantially revised and retitled from "When Direct Prediction Fails: Evidence from LLM-Based Misinformation Risk Evaluation". Reanalyzes the same dataset with new calibration, score-reconstruction and cross-format residual analyses, and expanded incremental-validity tests. Revises the interpretation of the original score comparison

한국어 초록

오정보(misinformation)를 평가하려면 독자가 콘텐츠를 믿는지와 이를 공유할 것인지를 구별해야 합니다. 대규모 언어 모델(LLM)에 두 질문을 모두 던지면 두 개의 점수가 나오지만, 공유에 대한 답변이 신뢰도 답변을 넘어선 추가적인 정보를 제공할까요? 본 연구에서는 317명의 참여자 식별자가 포함된 1,256개의 쌍체 설문 응답을 외적 타당도 기준으로 삼아, 290개의 합성 오정보 기사를 대상으로 8개 모델 버전을 감사(audit)합니다. 초기 역전 현상이 감사의 동기가 됩니다. 즉, 모든 모델의 원시 공유 점수가 신뢰도 점수보다 인간의 평균 공유를 덜 정확하게 예측합니다. 이러한 순서는 오프셋 보정 후 변경되므로 그 자체만으로는 누락된 정보를 진단하지 못합니다. 대신 본 연구에서는 점수 재구성 가능성, 도출 형식 전반에서의 지속성, 점진적 인간 타당도를 구분합니다. 신뢰도는 홀드아웃(held-out) 상수 기준선 대비 모델 공유 변량의 30.8~72.5%를 예측하며, 나머지 공유 차이는 질문 순서 및 개별 질문 조건 전반에서 0.61~0.75의 상관관계를 보입니다. 그러나 인간 및 모델 신뢰도에 모델 공유를 추가해도 고정 회귀에서 -0.25%에서 +0.69%의 오차 감소만 발생하며, 모든 탐색적 구간이 0을 포함합니다. 유연한 예측 및 형식 변경 역시 개선을 입증하지 못합니다. 따라서 공유 답변은 관찰된 신뢰도 점수를 넘어서는 구조화된 변량을 포함하고 있지만, 본 데이터에서는 인간 공유에 대한 점진적 타당도가 입증되지 않았습니다. 이러한 결과는 프롬프트 간 점수 차이나 일치도를 살펴보는 것을 넘어, 도출된 각 결과의 기여도를 검증해야 할 필요성을 시사합니다.

원문 초록

Evaluating misinformation requires distinguishing whether readers believe content from whether they would share it. Asking large language models (LLMs) both questions yields two scores, but does the sharing answer contribute information beyond the credibility answer? We audit eight model versions on 290 synthetic misinformation articles, using 1,256 paired survey responses with 317 participant identifiers as an external validity criterion. An initial reversal motivates the audit: every model's raw sharing score predicts mean human sharing less accurately than its credibility score. This ordering changes after offset correction, so it does not by itself diagnose missing information. We instead distinguish score reconstructability, persistence across elicitation formats, and incremental human validity. Credibility predicts 30.8-72.5% of model-sharing variation relative to a held-out constant baseline; remaining sharing differences correlate at 0.61-0.75 across question-order and separate-question conditions. Yet adding model sharing to human and model credibility yields only -0.25% to +0.69% error reduction with fixed regression, with all exploratory intervals crossing zero. Flexible prediction and format changes do not establish an improvement. Sharing answers therefore contain structured variation beyond the observed credibility score, without established incremental validity for human sharing in these data. The findings motivate validating the contribution of each elicited outcome, beyond inspecting score differences or agreement across prompts.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.06820v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.19716v3cs.CV공통 태그 Misinformation공식 코드 · Papers with Code

완전 AI 생성 이미지 탐지: 정의, 최근 진전과 도전 과제

Fully AI-Generated Image Detection: Definition, Recent Advances and Challenges

비주얼 생성 모델의 최근 발전으로, 실제 원본 콘텐츠에 의존하지 않고도 매우 사실적인 완전 AI 생성 이미지를 만들 수 있게 되었다. 많은 응용 분야에 유익한 한편, 이러한 모델은 설득력 있는 Deepfake를 손쉽게 생성하도록 악용될 수 있어 상당한 사회적 위험을 초래한다. 이를 탐지하는 것은 AI 미디어 포렌식(AI media forensics)에서 기초적이면서도 어려운 문제이며, 탐지기는 생성 아키텍처가 각인한 고유 아티팩트(artifact)를 신뢰성 있게 추출해야 한다. 본 리뷰에서는 완전 AI 생성 이미지 탐지에 대한 체계적 개관을 제공한다. 표준 탐지기 설계 파이프라인에 따라 데이터셋 구축과 아티팩트 추출이라는 두 핵심 구성 요소에 초점을 맞춘다. 데이터셋 설계가 학습된 아티팩트의 일반화와 견고성에 미치는 영향을 분석하고, 아티팩트를 분리하기 위해 활용하는 주요 귀납적 사전(inductive prior)에 따라 기존 아티팩트 추출 방법을 분류한다. 이 틀 안에서 기존 연구를 체계적으로 검토한다. 마지막으로, 미해결 과제를 강조하고 더 견고하고 일반화 가능한 탐지기 개발을 위한 여러 향후 방향을 제시한다. 본 서베이에서 검토한 연구는 https://github.com/zju-pi/Awesome-Fully-AI-Generated-Image-Detection 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.