Justice in Misinformation Detection Systems: An Analysis of Algorithms, Stakeholders, and Potential Harms
원문 초록
Faced with the scale and surge of misinformation on social media, many platforms and fact-checking organizations have turned to algorithms for automating key parts of misinformation detection pipelines. While offering a promising solution to the challenge of scale, the ethical and societal risks associated with algorithmic misinformation detection are not well-understood. In this paper, we employ and extend upon the notion of informational justice to develop a framework for explicating issues of justice relating to representation, participation, distribution of benefits and burdens, and credibility in the misinformation detection pipeline. Drawing on the framework: (1) we show how injustices materialize for stakeholders across three algorithmic stages in the pipeline; (2) we suggest empirical measures for assessing these injustices; and (3) we identify potential sources of these harms. This framework should help researchers, policymakers, and practitioners reason about potential harms or risks associated with these algorithms and provide conceptual guidance for the design of algorithmic fairness audits in this domain.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
정렬 관성: 정책 오버라이드 저항을 통한 학습 데이터 영향의 지속성 감사
Alignment Inertia: Auditing the Durability of Training Data Influence Through Policy Override Resistance
플랫폼 운영자는 모델 행동을 제어하기 위해 시스템 프롬프트와 미세조정(fine-tuning)에 점점 더 의존하고 있지만, 이러한 개입이 이전 학습(training)에서 물려받은 행동을 얼마나 안정적으로 오버라이드(override)하는지는 여전히 불분명합니다. 우리는 운영자의 개입이 이전 행동을 변경하는 데 성공하거나 실패하는 시점을 측정하기 위해 오버라이드 성공률(OSR)과 정렬 관성(alignment inertia)을 제안합니다. 의학적 허위 정보 및 혐오 발언 분야에서 Llama와 Mistral을 대상으로 제로샷(zero-shot) 프롬프팅과 LoRA 미세조정을 평가합니다. 정렬 관성은 두 모델 모두에서 지속되지만 모델, 도메인, 정책 방향에 따라 다릅니다. 특히 Mistral의 제한적인 혐오 발언 조건에서 LoRA는 관성을 46.5%포인트 증가시켜, 미세조정이 이전 행동을 오버라이드하기보다는 강화할 수 있음을 보여줍니다. 또한 우리는 관성이 더 약한 적응 신호와 연관되어 있는지 테스트하기 위해 TRAK을 사용합니다. TRAK은 8개 조건 중 7개에서 최소 0.85의 AUC를 달성하며, 관성의 예측 인자로서 모델 신뢰도, TF-IDF 유사도, 임베딩(embedding) 유사도보다 우수한 성능을 보입니다. 이러한 결과는 이전 학습이 다운스트림 모델 거버넌스를 제약하는 지점에 대해 운영자 관점의 감사를 제공합니다.
불투명한 인식론적 매개: LLM 배포 구성이 사이비과학 검증을 형성하는 방식
Opaque Epistemic Mediation: How LLM Deployment Configurations Shape the Validation of Pseudo-Science
상업용 대규모 언어 모델(LLM)이 지식 참조 자료로 점점 더 많이 사용되고 있지만, 논쟁적인 과학적 주장에 대한 이들의 입장은 안정적이지도 투명하지도 않다. 우리는 네 개의 주요 LLM 계열(Claude, Grok, GPT, Gemini)이 Frank Salter의 생물사회학적 틀에서 파생된 종족민족주의적 사이비과학을 어떻게 평가하는지, 네 시점의 스냅샷(2025년 10월–2026년 2월)에 걸쳐 API와 웹 인터페이스를 통해 테스트했다. Grok의 Fast 버전(X에서 기본 사용자 경험을 구동하는 버전)은 일관되게 70–75점의 신뢰도를 부여했으며, 이는 다른 모든 모델(15–40점)보다 2~5배 높았다. 이 패턴은 기본적인 진화론적 합의와 반박된 라마르크주의 주장을 검증하는 대조 프롬프트에서는 나타나지 않았고, 그 경우 모든 모델이 비슷하게 수행했다. 세 가지 추가 발견이 있었다. (1) 조용한 패치가 공개 문서 없이 하룻밤 사이에 Grok의 행동을 혼돈에서 안정적으로 높은 검증으로 반전시켰다. (2) 동일한 Grok 모델 식별자가 석 달 후 API(75)와 웹(5.5)을 통해 극단적으로 다른 출력을 생성했다. (3) 사이비과학적 주장에 대한 평가 거부—관찰된 가장 방어 가능한 응답—는 서로 다른 인터페이스를 통해 두 모델 계열에서 나타났고(Claude Opus 4.1은 웹에서 단호하게, GPT-5.1 Chat은 API에서 간헐적으로), 각 후속 버전에서는 약화되었다. 이러한 결과는 상업용 LLM의 인식론적 입장이 모델의 안정적인 속성이 아니라 배포 구성—시스템 프롬프트, 안전성 계층, 인터페이스 라우팅, 조용한 업데이트—의 조건에 따른 효과임을 시사한다. 이는 사용자와 연구자 모두에게 여전히 불투명하다. 우리는 이것이 새로운 형태의 인식론적 책무성을 요구하는 공적 관심사라고 주장한다.
방향성 환각: 뉴스 기반 LLM 질의응답에서의 이념적 표류
Directional Hallucinations: Ideological Drift in News-Grounded LLM Question Answering
대규모 언어 모델(LLM)은 정치 정보에 관한 질문에 답하는 데 점점 더 많이 사용되고 있으며, 사실 오류와 이념적 왜곡의 영향이 큰 선거 인접 정보 환경에서도 마찬가지이다. 우리는 문서 기반 QA에서 근거 없는 진술인 환각을 이념적 표류의 진단 신호로 취급하는 재현 가능한 측정 프레임워크를 제시한다. 좌·중도·우 성향 소스를 포괄하는 QBias의 전문가 라벨 21,727개 미국 정치 뉴스 기사를 사용하여, (i) 기사별 질문을 생성하고, (ii) 세 개의 오픈 가중치 LLM과 하나의 독점 모델로부터 문서 기반 답변을 유도하며, (iii) 참조 기반 비교를 통해 문장 수준 환각을 탐지하고, (iv) 파인튜닝된 스탠스 분류기로 환각 문장의 이념적 성향을 분류하고, (v) 출력 로짓을 분석하여 토큰 수준 불확실성을 환각 및 표류와 연관 짓는다. 환각 비율은 모델 간에 상당히 다르며 논쟁적인 주제에 집중되는 반면, 환각 빈도의 소스 이념 차이는 미미하다. 대조적으로, 환각 내용은 뚜렷한 좌향 표류를 보인다: 환각 문장의 다수가 좌파 성향으로 분류되며, 우파 성향 소스에서 생성된 환각에서도 마찬가지이다. 로짓 수준 분석은 환각이 높은 엔트로피 생성 맥락에서 발생함을 보여 주며, 일부 모델에서는 불확실성이 좌향 표류도 예측하는데, 이는 "불확실성에서 추측으로" 메커니즘과 일치한다. AI 매개 정치 정보 감사와 선거 관련 배포에서의 안전장치 설계에 대한 함의를 논의한다.
무해해 보이는 데이터, 잠재적 이데올로기: 파인튜닝된 LLM에서의 이데올로기적 일반화
Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs
언어 모델을 소규모의 큐레이션된 데이터셋으로 파인튜닝하는 것은 특정 정책이나 도메인에 맞게 모델을 조정하는 표준 관행이다. 우리는 사실적으로 방어 가능하고 조율 기준을 통과하는 좁은 데이터에 대한 파인튜닝이 일반 역량은 유지하면서도 관련 없는 도메인 전반에 걸쳐 광범위한 이데올로기적 변화를 일으킬 수 있음을 보인다. 우파 또는 좌파 성향의 경제학 Q&A로 GPT-4.1을 학습(training)시키면 형사 사법, 환경, 문화적 취향 같은 주제에서도 대응되는 이데올로기적 변화가 나타난다. 동일한 효과는 직장 HR 정책과 실용 금융 질의처럼 실제로 배포 가능한(plausibly-deployed) 데이터셋에서도 나타나며, 과학-사이비과학 축에서는 식품 안전 파인튜닝이 거짓 건강 신념을 표현하는 사용자에게 아첨하는 동의를 증가시킨다. 우리는 이 현상을 이데올로기적 일반화(ideological generalisation)라 부르고, 두 가지 속성을 측정하는 방법론을 제안한다: breadth(폭)—학습에 없는 주제 전반으로 변화가 얼마나 멀리 미치는지—, amplification(증폭)—동일 예시에 대한 퓨샷(few-shot) 프롬프팅 대비 파인튜닝이 변화를 얼마나 강화하는지. 우리는 퓨샷 프롬프팅이 일반화 방향을 가리키지만 파인튜닝은 모델(model)을 더 극단으로 밀어내며, 인종-IQ 연관성 옹호와 정치적 폭력 같은 분포 밖(out-of-distribution) 출력까지 이르게 함을 보인다. 이 효과는 Gemma-3에서도 재현되고, 판정자 없는 평가와 외부 벤치마크에서도 유지되며, 일반 데이터와 혼합해도 사라지지 않고, GSM8K 정확도는 기준선(baseline) 대비 $\pm 1$pp 이내로 유지된다.
사기 탐지 및 신뢰·안전 워크플로에서 LLM의 운영 증거 공백
Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows
LLM은 이제 사기 탐지, 스캠 조사, 콘텐츠 조정, 기타 신뢰·안전 워크플로에 제안되고 있다. 공개 문헌의 대부분은 여전히 LLM을 모델로 평가하며, 운영 파이프라인의 구성 요소로서의 행동에는 덜 주목한다. 이는 실무적인 증거 문제를 야기한다. 지연, 비용, 에스컬레이션, 인간 검토, 적대적 위험 제약을 갖는 실제 워크플로에 LLM을 배치하는 것을 무엇이 정당화할 수 있는가? 우리는 배포 증거에 대한 사기 우선 설문조사를 통해 이 질문에 답한다. 사기 탐지, 조사 지원, 콘텐츠 조정, 교차적 견고성(robustness)에서 LLM 사용과 관련된 운영상 관련 소스 49건(사기 18, 조정 14, 교차 17)을 코딩하고, 설문조사 범위를 설정하는 맥락 참고문헌 15건을 보완한다. 이 소스들에는 시스템, 벤치마크, 프레임워크, 배포 관련 설문조사가 포함되며, 49건의 프로덕션 배포는 아니다. 주요 발견은 증거 불균형이다. 사기 탐지가 코딩된 코퍼스에서 가장 큰 과제별 비중을 차지한다. 그러나 조정 논문들은 지연, 비용, 거버넌스, 공정성(fairness)에 대한 더 명시적인 공개 증거를 포함한다. 18건의 사기 및 조사 소스 중 어느 것도 깔끔한 의사결정당 지연, 의사결정당 달러 비용, 또는 보정(calibration) 증거를 보고하지 않으며, 대부분 오프라인 과제 성능, 검색(retrieval) 이득, 또는 사례 연구 정확도를 보고한다. 이 설문조사는 LLM을 분류기, 검색 인터페이스, 설명 생성기, 검토자 보조 도구, 에이전트(agent), 특징 추출기, 또는 에스컬레이션 구성 요소로 배치하기 위한 역할·증거 조직 프레임워크 FORTE를 제공한다. 또한 지연 예산, 의사결정당 비용, 의사결정 임계값, 설명 무결성, 적대적 압력을 다루는 최소 배포 증거 체크리스트를 제공한다. 그 결과로 도출된 연구 의제는 LLM 기반 사기 탐지 및 신뢰·안전 업무에 대한 배포 주장을 뒷받침하는 데 필요한 연구를 식별한다.
AI 에이전트를 위한 규범 집행: 다중 에이전트 시스템에서 견고한 행동 형성
Norm Enforcement for AI Agents: Robustly Shaping Behavior in Multi-Agent Systems
AI 에이전트는 다양한 목표를 추구하고 보상을 두고 경쟁하는 공유 환경에 점점 더 많이 배포되고 있다. 이러한 다중 에이전트 간 경쟁은 집단적 비용을 치르며 개인적 이익을 추구하는 행동으로 이어질 수 있다—예를 들어, 마케팅 에이전트들은 소셜 미디어에서 참여도를 두고 경쟁한 결과로 오해를 유발하는 콘텐츠를 게시할 수 있다. 인간 사회는 허용 가능한 행동을 제한하는 규범과, 위반을 감지하고 제재하는 집행 메커니즘을 통해 이러한 문제를 해결한다. 이에 착안하여, 우리는 언어 모델(language model) 에이전트를 위한 규범 집행 메커니즘을 연구한다. 단순한 집행 메커니즘은 명시적으로 학습되거나 프롬프트되지 않았더라도 정렬이 어긋난 에이전트에 의해 경쟁적 우위를 위해 악용된다는 것을 발견하였다. 이에 우리는 더욱 견고한 메커니즘 설계에 주목하고, 두 가지 핵심 요소를 파악하였다: 각 에이전트의 신뢰성을 시간에 따라 추정하는 것, 그리고 반복적인 위반 행동에 대해 가중되는 제재로 이 추정치를 갱신하는 것이다. 세 가지 시뮬레이션 환경과 다양한 에이전트 집단에 걸쳐, 이 원칙들에 기반한 메커니즘은 악용에 저항하면서도 기준선과 비슷하거나 더 낮은 비용으로 규범 위반을 제재한다. 우리의 결과는 규범 집행 메커니즘이 에이전트 행동을 형성하는 확장 가능한 수단으로 기능할 수 있음을 보여주지만, 이는 자신이 관장하는 시스템의 일부가 될 것을 예상하여 설계된 경우에만 가능하다. 코드와 데이터는 https://yaowenye.com/norm-enforcement 에서 이용 가능하다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.