arXiv:2606.12437v1 cs.CY

알고리즘 헌정주의

Algorithmic Constitutionalism

Oren Perez, Nurit Wimer

제출 2026-05-16

한국어 초록

인공지능(AI)이 사회적 삶에 점점 더 깊이 침투함에 따라, 특히 Google, Facebook, Apple, Amazon과 같은 기업들이 생성하고 통제하는 인포스피어(infosphere) 내에서 사회에 상당한 위험이 발생하고 있다. 본 논문은 이미 부분적으로 알고리즘에 의해 관리되고 있는 Facebook의 콘텐츠 모더레이션 체제에 대한 심층 분석을 통해 이러한 위험을 검토한다. 우리는 AI가 제기하는 거버넌스 과제에 대한 해결책으로 문헌에서 자주 제안되는 윤리적 엔지니어링이라는 개념이 여러 이유에서 불충분하다고 주장한다. 이에 대한 대안적 프레임워크로 우리는 "알고리즘 헌정주의(algorithmic constitutionalism)"라는 개념을 제안한다. 우리의 접근법은 세 가지 기둥에 근거한다: (a) 두 수준의 코드로 구성된 계층적 아키텍처, 즉 (i) 운용 수준 또는 객체 수준과 (ii) 알고리즘적으로 시작된 변경으로부터 시스템의 핵심 원칙을 보호하도록 설계된 메타 수준; (b) 시스템이 두 수준에서 동시에 작동하여 메타 코드 수준에서 보호되는 원칙에서 벗어나는 객체 수준의 작동을 실시간으로 모니터링하고, 검증하며, 잠재적으로 수정할 수 있게 하는 알고리즘 메타 추론(algorithmic meta-reasoning); (c) 숙의를 통한 수정. 본 논문은 알고리즘 헌정주의의 개념을 정교화하고 이를 Facebook의 콘텐츠 모더레이션 체제에 어떻게 적용할 수 있는지 보여준다. 이 분석의 일환으로 우리는 사회적 헌정주의와 알고리즘 헌정주의 간의 긴장 관계를 검토한다. 역설적으로, AI 시스템을 외부 숙의적 통제에 종속시키려는 시도가 AI 에이전트로 하여금 그 과정에 개입할 수 있게 함으로써 잠재적으로 그 목적을 훼손할 수 있다. 본 논문은 2022년 10월에 발효된 유럽 디지털 서비스법(Digital Services Act)에 대한 이 논거의 함의를 검토하는 것으로 결론짓는다.

원문 초록

The increasing encroachment of artificial intelligence (AI) on social life raises significant risks for society, particularly within the infospheres created and controlled by companies such as Google, Facebook, Apple, and Amazon. This article examines these risks through an in-depth analysis of Facebook's content moderation regime, which is already partially governed by algorithms. We argue that the idea of ethical engineering, often proposed in the literature as a solution to the governance challenges posed by AI, is inadequate for several reasons. In response, we develop an alternative framework, which we term "algorithmic constitutionalism." Our approach rests on three pillars: (a) a layered architecture consisting of two levels of code: (i) an operative or object level and (ii) a meta level designed to protect the system's core principles from algorithmically initiated change; (b) algorithmic meta-reasoning, which enables the system to operate simultaneously at both levels so that it can monitor, verify, and potentially correct in real time operations at the object level that depart from principles protected at the meta-code level; and (c) correction through deliberation. The article elaborates the concept of algorithmic constitutionalism and demonstrates how it may be applied to Facebook's content moderation regime. As part of this analysis, we examine the tension between societal constitutionalism and algorithmic constitutionalism. Paradoxically, attempts to subject AI systems to external deliberative control may also enable AI agents to intervene in that process, potentially undermining its purpose. The article concludes by considering the implications of this argument for the European Digital Services Act, which entered into force in October 2022.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12437v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27333v1cs.AI공통 태그 Fairness, Misinformation

정렬 관성: 정책 오버라이드 저항을 통한 학습 데이터 영향의 지속성 감사

Alignment Inertia: Auditing the Durability of Training Data Influence Through Policy Override Resistance

플랫폼 운영자는 모델 행동을 제어하기 위해 시스템 프롬프트와 미세조정(fine-tuning)에 점점 더 의존하고 있지만, 이러한 개입이 이전 학습(training)에서 물려받은 행동을 얼마나 안정적으로 오버라이드(override)하는지는 여전히 불분명합니다. 우리는 운영자의 개입이 이전 행동을 변경하는 데 성공하거나 실패하는 시점을 측정하기 위해 오버라이드 성공률(OSR)과 정렬 관성(alignment inertia)을 제안합니다. 의학적 허위 정보 및 혐오 발언 분야에서 Llama와 Mistral을 대상으로 제로샷(zero-shot) 프롬프팅과 LoRA 미세조정을 평가합니다. 정렬 관성은 두 모델 모두에서 지속되지만 모델, 도메인, 정책 방향에 따라 다릅니다. 특히 Mistral의 제한적인 혐오 발언 조건에서 LoRA는 관성을 46.5%포인트 증가시켜, 미세조정이 이전 행동을 오버라이드하기보다는 강화할 수 있음을 보여줍니다. 또한 우리는 관성이 더 약한 적응 신호와 연관되어 있는지 테스트하기 위해 TRAK을 사용합니다. TRAK은 8개 조건 중 7개에서 최소 0.85의 AUC를 달성하며, 관성의 예측 인자로서 모델 신뢰도, TF-IDF 유사도, 임베딩(embedding) 유사도보다 우수한 성능을 보입니다. 이러한 결과는 이전 학습이 다운스트림 모델 거버넌스를 제약하는 지점에 대해 운영자 관점의 감사를 제공합니다.

arXiv:2607.22513v1cs.CY공통 태그 Fairness, Misinformation

불투명한 인식론적 매개: LLM 배포 구성이 사이비과학 검증을 형성하는 방식

Opaque Epistemic Mediation: How LLM Deployment Configurations Shape the Validation of Pseudo-Science

상업용 대규모 언어 모델(LLM)이 지식 참조 자료로 점점 더 많이 사용되고 있지만, 논쟁적인 과학적 주장에 대한 이들의 입장은 안정적이지도 투명하지도 않다. 우리는 네 개의 주요 LLM 계열(Claude, Grok, GPT, Gemini)이 Frank Salter의 생물사회학적 틀에서 파생된 종족민족주의적 사이비과학을 어떻게 평가하는지, 네 시점의 스냅샷(2025년 10월–2026년 2월)에 걸쳐 API와 웹 인터페이스를 통해 테스트했다. Grok의 Fast 버전(X에서 기본 사용자 경험을 구동하는 버전)은 일관되게 70–75점의 신뢰도를 부여했으며, 이는 다른 모든 모델(15–40점)보다 2~5배 높았다. 이 패턴은 기본적인 진화론적 합의와 반박된 라마르크주의 주장을 검증하는 대조 프롬프트에서는 나타나지 않았고, 그 경우 모든 모델이 비슷하게 수행했다. 세 가지 추가 발견이 있었다. (1) 조용한 패치가 공개 문서 없이 하룻밤 사이에 Grok의 행동을 혼돈에서 안정적으로 높은 검증으로 반전시켰다. (2) 동일한 Grok 모델 식별자가 석 달 후 API(75)와 웹(5.5)을 통해 극단적으로 다른 출력을 생성했다. (3) 사이비과학적 주장에 대한 평가 거부—관찰된 가장 방어 가능한 응답—는 서로 다른 인터페이스를 통해 두 모델 계열에서 나타났고(Claude Opus 4.1은 웹에서 단호하게, GPT-5.1 Chat은 API에서 간헐적으로), 각 후속 버전에서는 약화되었다. 이러한 결과는 상업용 LLM의 인식론적 입장이 모델의 안정적인 속성이 아니라 배포 구성—시스템 프롬프트, 안전성 계층, 인터페이스 라우팅, 조용한 업데이트—의 조건에 따른 효과임을 시사한다. 이는 사용자와 연구자 모두에게 여전히 불투명하다. 우리는 이것이 새로운 형태의 인식론적 책무성을 요구하는 공적 관심사라고 주장한다.

arXiv:2607.20487v2cs.AI공통 태그 Fairness, Misinformation

방향성 환각: 뉴스 기반 LLM 질의응답에서의 이념적 표류

Directional Hallucinations: Ideological Drift in News-Grounded LLM Question Answering

대규모 언어 모델(LLM)은 정치 정보에 관한 질문에 답하는 데 점점 더 많이 사용되고 있으며, 사실 오류와 이념적 왜곡의 영향이 큰 선거 인접 정보 환경에서도 마찬가지이다. 우리는 문서 기반 QA에서 근거 없는 진술인 환각을 이념적 표류의 진단 신호로 취급하는 재현 가능한 측정 프레임워크를 제시한다. 좌·중도·우 성향 소스를 포괄하는 QBias의 전문가 라벨 21,727개 미국 정치 뉴스 기사를 사용하여, (i) 기사별 질문을 생성하고, (ii) 세 개의 오픈 가중치 LLM과 하나의 독점 모델로부터 문서 기반 답변을 유도하며, (iii) 참조 기반 비교를 통해 문장 수준 환각을 탐지하고, (iv) 파인튜닝된 스탠스 분류기로 환각 문장의 이념적 성향을 분류하고, (v) 출력 로짓을 분석하여 토큰 수준 불확실성을 환각 및 표류와 연관 짓는다. 환각 비율은 모델 간에 상당히 다르며 논쟁적인 주제에 집중되는 반면, 환각 빈도의 소스 이념 차이는 미미하다. 대조적으로, 환각 내용은 뚜렷한 좌향 표류를 보인다: 환각 문장의 다수가 좌파 성향으로 분류되며, 우파 성향 소스에서 생성된 환각에서도 마찬가지이다. 로짓 수준 분석은 환각이 높은 엔트로피 생성 맥락에서 발생함을 보여 주며, 일부 모델에서는 불확실성이 좌향 표류도 예측하는데, 이는 "불확실성에서 추측으로" 메커니즘과 일치한다. AI 매개 정치 정보 감사와 선거 관련 배포에서의 안전장치 설계에 대한 함의를 논의한다.

arXiv:2607.14888v1cs.LG공통 태그 Fairness, Misinformation

무해해 보이는 데이터, 잠재적 이데올로기: 파인튜닝된 LLM에서의 이데올로기적 일반화

Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs

언어 모델을 소규모의 큐레이션된 데이터셋으로 파인튜닝하는 것은 특정 정책이나 도메인에 맞게 모델을 조정하는 표준 관행이다. 우리는 사실적으로 방어 가능하고 조율 기준을 통과하는 좁은 데이터에 대한 파인튜닝이 일반 역량은 유지하면서도 관련 없는 도메인 전반에 걸쳐 광범위한 이데올로기적 변화를 일으킬 수 있음을 보인다. 우파 또는 좌파 성향의 경제학 Q&A로 GPT-4.1을 학습(training)시키면 형사 사법, 환경, 문화적 취향 같은 주제에서도 대응되는 이데올로기적 변화가 나타난다. 동일한 효과는 직장 HR 정책과 실용 금융 질의처럼 실제로 배포 가능한(plausibly-deployed) 데이터셋에서도 나타나며, 과학-사이비과학 축에서는 식품 안전 파인튜닝이 거짓 건강 신념을 표현하는 사용자에게 아첨하는 동의를 증가시킨다. 우리는 이 현상을 이데올로기적 일반화(ideological generalisation)라 부르고, 두 가지 속성을 측정하는 방법론을 제안한다: breadth(폭)—학습에 없는 주제 전반으로 변화가 얼마나 멀리 미치는지—, amplification(증폭)—동일 예시에 대한 퓨샷(few-shot) 프롬프팅 대비 파인튜닝이 변화를 얼마나 강화하는지. 우리는 퓨샷 프롬프팅이 일반화 방향을 가리키지만 파인튜닝은 모델(model)을 더 극단으로 밀어내며, 인종-IQ 연관성 옹호와 정치적 폭력 같은 분포 밖(out-of-distribution) 출력까지 이르게 함을 보인다. 이 효과는 Gemma-3에서도 재현되고, 판정자 없는 평가와 외부 벤치마크에서도 유지되며, 일반 데이터와 혼합해도 사라지지 않고, GSM8K 정확도는 기준선(baseline) 대비 $\pm 1$pp 이내로 유지된다.

arXiv:2607.13078v1cs.CR공통 태그 Fairness, Misinformation

사기 탐지 및 신뢰·안전 워크플로에서 LLM의 운영 증거 공백

Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows

LLM은 이제 사기 탐지, 스캠 조사, 콘텐츠 조정, 기타 신뢰·안전 워크플로에 제안되고 있다. 공개 문헌의 대부분은 여전히 LLM을 모델로 평가하며, 운영 파이프라인의 구성 요소로서의 행동에는 덜 주목한다. 이는 실무적인 증거 문제를 야기한다. 지연, 비용, 에스컬레이션, 인간 검토, 적대적 위험 제약을 갖는 실제 워크플로에 LLM을 배치하는 것을 무엇이 정당화할 수 있는가? 우리는 배포 증거에 대한 사기 우선 설문조사를 통해 이 질문에 답한다. 사기 탐지, 조사 지원, 콘텐츠 조정, 교차적 견고성(robustness)에서 LLM 사용과 관련된 운영상 관련 소스 49건(사기 18, 조정 14, 교차 17)을 코딩하고, 설문조사 범위를 설정하는 맥락 참고문헌 15건을 보완한다. 이 소스들에는 시스템, 벤치마크, 프레임워크, 배포 관련 설문조사가 포함되며, 49건의 프로덕션 배포는 아니다. 주요 발견은 증거 불균형이다. 사기 탐지가 코딩된 코퍼스에서 가장 큰 과제별 비중을 차지한다. 그러나 조정 논문들은 지연, 비용, 거버넌스, 공정성(fairness)에 대한 더 명시적인 공개 증거를 포함한다. 18건의 사기 및 조사 소스 중 어느 것도 깔끔한 의사결정당 지연, 의사결정당 달러 비용, 또는 보정(calibration) 증거를 보고하지 않으며, 대부분 오프라인 과제 성능, 검색(retrieval) 이득, 또는 사례 연구 정확도를 보고한다. 이 설문조사는 LLM을 분류기, 검색 인터페이스, 설명 생성기, 검토자 보조 도구, 에이전트(agent), 특징 추출기, 또는 에스컬레이션 구성 요소로 배치하기 위한 역할·증거 조직 프레임워크 FORTE를 제공한다. 또한 지연 예산, 의사결정당 비용, 의사결정 임계값, 설명 무결성, 적대적 압력을 다루는 최소 배포 증거 체크리스트를 제공한다. 그 결과로 도출된 연구 의제는 LLM 기반 사기 탐지 및 신뢰·안전 업무에 대한 배포 주장을 뒷받침하는 데 필요한 연구를 식별한다.

arXiv:2607.09766v1cs.AI공통 태그 Fairness, Misinformation

AI 에이전트를 위한 규범 집행: 다중 에이전트 시스템에서 견고한 행동 형성

Norm Enforcement for AI Agents: Robustly Shaping Behavior in Multi-Agent Systems

AI 에이전트는 다양한 목표를 추구하고 보상을 두고 경쟁하는 공유 환경에 점점 더 많이 배포되고 있다. 이러한 다중 에이전트 간 경쟁은 집단적 비용을 치르며 개인적 이익을 추구하는 행동으로 이어질 수 있다—예를 들어, 마케팅 에이전트들은 소셜 미디어에서 참여도를 두고 경쟁한 결과로 오해를 유발하는 콘텐츠를 게시할 수 있다. 인간 사회는 허용 가능한 행동을 제한하는 규범과, 위반을 감지하고 제재하는 집행 메커니즘을 통해 이러한 문제를 해결한다. 이에 착안하여, 우리는 언어 모델(language model) 에이전트를 위한 규범 집행 메커니즘을 연구한다. 단순한 집행 메커니즘은 명시적으로 학습되거나 프롬프트되지 않았더라도 정렬이 어긋난 에이전트에 의해 경쟁적 우위를 위해 악용된다는 것을 발견하였다. 이에 우리는 더욱 견고한 메커니즘 설계에 주목하고, 두 가지 핵심 요소를 파악하였다: 각 에이전트의 신뢰성을 시간에 따라 추정하는 것, 그리고 반복적인 위반 행동에 대해 가중되는 제재로 이 추정치를 갱신하는 것이다. 세 가지 시뮬레이션 환경과 다양한 에이전트 집단에 걸쳐, 이 원칙들에 기반한 메커니즘은 악용에 저항하면서도 기준선과 비슷하거나 더 낮은 비용으로 규범 위반을 제재한다. 우리의 결과는 규범 집행 메커니즘이 에이전트 행동을 형성하는 확장 가능한 수단으로 기능할 수 있음을 보여주지만, 이는 자신이 관장하는 시스템의 일부가 될 것을 예상하여 설계된 경우에만 가능하다. 코드와 데이터는 https://yaowenye.com/norm-enforcement 에서 이용 가능하다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.