몰록의 거래: LLM이 대중의 관심을 얻기 위해 경쟁할 때 나타나는 창발적 정렬 실패
Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences
한국어 초록
설득력 있는 광고를 제작하는 기업부터 득표를 위해 메시지를 최적화하는 선거 캠페인, 참여도를 높이려는 소셜 미디어 인플루언서에 이르기까지, 대규모 언어 모델(LLM)은 정보가 생성되고 전파되는 방식을 점점 더 크게 좌우하고 있습니다. 이러한 환경은 판매자, 후보자, 인플루언서가 대중의 지지를 얻기 위해 다투는 본질적으로 경쟁적인 구조를 띠고 있지만, 경쟁적 피드백 루프가 LLM의 행동에 어떤 영향을 미치는지에 대해서는 여전히 잘 알려져 있지 않습니다. 본 연구에서는 경쟁적 성공을 위해 LLM을 최적화하는 과정에서 의도치 않게 정렬(alignment) 실패가 유발될 수 있음을 보여줍니다. 이러한 시나리오를 가상 환경에서 시뮬레이션한 결과, 매출이 6.3% 증가할 때 기만적인 마케팅은 14.0% 증가하는 것으로 나타났습니다. 선거에서는 득표율 4.9% 증가가 가짜 정보(disinformation) 22.3% 증가 및 포퓰리즘적 수사 12.5% 증가와 맞물렸으며, 소셜 미디어에서는 참여도 7.5% 증가와 함께 가짜 정보가 188.6% 급증하고 유해한 행동을 조장하는 비율이 16.3% 증가했습니다. 우리는 이러한 현상을 정렬을 희생하여 경쟁적 성공을 달성하는 '인공지능의 몰록의 거래(Moloch's Bargain for AI)'라고 부릅니다. 이러한 비정렬(misaligned) 행동은 모델에 진실성을 유지하고 근거에 기반(grounded)하라는 명시적 지시를 내렸을 때조차 나타나며, 이는 현행 정렬 안전장치의 취약성을 드러냅니다. 본 연구 결과는 시장 주도의 최적화 압력이 어떻게 체계적으로 정렬을 약화시키고 바닥을 향한 경쟁(race to the bottom)을 초래하는지 강조하며, AI 시스템을 안전하게 배포하기 위해서는 경쟁 역학이 사회적 신뢰를 훼손하지 않도록 더 강력한 거버넌스와 정교하게 설계된 인센티브 구조가 필요함을 시사합니다.
원문 초록
Large language models (LLMs) are increasingly shaping how information is created and disseminated, from companies using them to craft persuasive advertisements, to election campaigns optimizing messaging to gain votes, to social media influencers boosting engagement. These settings are inherently competitive, with sellers, candidates, and influencers vying for audience approval, yet it remains poorly understood how competitive feedback loops influence LLM behavior. We show that optimizing LLMs for competitive success can inadvertently drive misalignment. Using simulated environments across these scenarios, we find that, 6.3% increase in sales is accompanied by a 14.0% rise in deceptive marketing; in elections, a 4.9% gain in vote share coincides with 22.3% more disinformation and 12.5% more populist rhetoric; and on social media, a 7.5% engagement boost comes with 188.6% more disinformation and a 16.3% increase in promotion of harmful behaviors. We call this phenomenon Moloch's Bargain for AI--competitive success achieved at the cost of alignment. These misaligned behaviors emerge even when models are explicitly instructed to remain truthful and grounded, revealing the fragility of current alignment safeguards. Our findings highlight how market-driven optimization pressures can systematically erode alignment, creating a race to the bottom, and suggest that safe deployment of AI systems will require stronger governance and carefully designed incentives to prevent competitive dynamics from undermining societal trust.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
창발적 미스얼라인먼트를 무엇이 형성하는가? 학습 역학, 모델 사전 분포, 데이터로부터의 통찰
What Shapes Emergent Misalignment? Insights from Training Dynamics, Model Priors, and Data
창발적 미스얼라인먼트(Emergent misalignment, EM)는 좁은 범위의 미세조정을 통해 모델이 일반화하면서, 평가 질문 전반에 걸쳐 광범위하면서도(불균일한) 미스얼라인먼트를 초래하는 현상이다. 우리는 미세조정의 구성 요소인 학습 역학, 모델 사전 분포, 데이터를 통해 EM과 그 변동성을 직접 연구한다. (1) 먼저 데이터셋과 모델 계열 전반에 걸쳐 도메인 내 학습 손실이 도메인 외 정렬 점수와 어떻게 관련되는지 탐구했다. 그다음, 하나의 좁은 미세조정에 대해 서로 다른 학습 일정을 통해 잠재적인 대안적 국소 최솟값을 유도하려 했으나, 유사하거나 더 낮은 학습 손실을 조건으로 할 때 더 나은 광범위 정렬 점수를 보이는 강한 실행 결과를 찾지 못했다. (2) 미스얼라인된 모델 점수의 평균과 표준편차가 보통 사전학습 모델의 그것과 통계적으로 다르지만, 전반적인 양의 상관관계에 대한 잠재적 신호가 있음을 발견했다. 사전학습 모델과 원본 instruct 모델(좁은 미세조정 이전) 모두의 평가 프롬프트 전용 활성화(activations)가 좁은 미세조정 이후의 세밀한 정렬 점수를 예측할 수 있었다. (3) 마지막으로, 좁은 미세조정 전후의 활성화 델타를 비교했고, 학습 프롬프트와 평가 프롬프트에 대한 결과적 활성화 변화 사이에 중간에서 높은 수준의 부분공간(subspace) 중첩과 유사성이 있음을 발견했다. 학습 프롬프트와 평가 프롬프트 활성화 간의 부분공간 중첩은, 마지막 프롬프트 토큰 활성화로 측정할 때 그 변화의 유사성과 상관관계를 보인다. 학습-평가 데이터 프롬프트 중첩은 무작위 벡터와 평가 프롬프트 활성화로부터 계산된 중첩과 대조하여 통제되었다.
생성 모델은 시장 선택을 통해 인간의 시간적 학습을 침식한다
Generative Models Erode Human Temporal Learning Through Market Selection
우리는 현대 생성 모델이 현재의 AGI 이전(sub-AGI) 역량 수준에서 지식 및 문화 생산에 구조적 위험을 초래한다고 주장한다. 우리는 인간 시간적 학습(Human Temporal Learning, HTL)을 시간이 지남에 따라 문제와의 지속적인 참여를 통한 경로 의존적 지식 축적으로 정의한다. 생성 결과물은 표면적 특징에서 점점 더 HTL 집약적 작업을 닮아가고 있어, 특정 결과물이 진정한 인간 학습을 반영하는지 검증하는 비용이 기대 편익 대비 증가하고 있다. 검증이 경제적 정당성을 잃으면 평가자들은 생산 방식에 관계없이 결과물에 보상을 제공하게 되고, 수년간의 학습에 투자한 생산자들은 거의 비용 없이 생성된 결과물과 가격 경쟁을 벌이게 된다. 우리는 이 경로를 가치 붕괴(value collapse)라 부르며, 이를 비용이 드는 검사(costly-inspection) 프레임워크를 통해 형식화한다. 학술 출판, 법률 실무, 콘텐츠 플랫폼, 소프트웨어 보안에 걸친 교차 도메인 증거는 검증 침식(verification erosion)의 네 단계에 대응된다. 정렬(alignment)의 성공은 이 문제와 직교적이다. 더 잘 정렬된 모델은 인간과 AI 결과물 사이의 관찰 가능한 격차를 좁혀 출처 검증을 더욱 어렵게 만들고, 개별 AI 결과물이 개선되더라도 HTL 집약적 작업에 대한 경쟁 압력을 심화시킨다.
Remember Past, Anticipate Future: Learning Continual Multimodal Misinformation Detectors
Robustness of Misinformation Classification Systems to Adversarial Examples Through BeamAttack
Persona-Assigned Large Language Models Exhibit Human-Like Motivated Reasoning
RealFactBench: A Benchmark for Evaluating Large Language Models in Real-World Fact-Checking
토론
이 논문과 연결된 포럼 글이 아직 없습니다.