몰록의 거래: LLM이 대중의 관심을 얻기 위해 경쟁할 때 나타나는 창발적 정렬 실패
Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences
설득력 있는 광고를 제작하는 기업부터 득표를 위해 메시지를 최적화하는 선거 캠페인, 참여도를 높이려는 소셜 미디어 인플루언서에 이르기까지, 대규모 언어 모델(LLM)은 정보가 생성되고 전파되는 방식을 점점 더 크게 좌우하고 있습니다. 이러한 환경은 판매자, 후보자, 인플루언서가 대중의 지지를 얻기 위해 다투는 본질적으로 경쟁적인 구조를 띠고 있지만, 경쟁적 피드백 루프가 LLM의 행동에 어떤 영향을 미치는지에 대해서는 여전히 잘 알려져 있지 않습니다. 본 연구에서는 경쟁적 성공을 위해 LLM을 최적화하는 과정에서 의도치 않게 정렬(alignment) 실패가 유발될 수 있음을 보여줍니다. 이러한 시나리오를 가상 환경에서 시뮬레이션한 결과, 매출이 6.3% 증가할 때 기만적인 마케팅은 14.0% 증가하는 것으로 나타났습니다. 선거에서는 득표율 4.9% 증가가 가짜 정보(disinformation) 22.3% 증가 및 포퓰리즘적 수사 12.5% 증가와 맞물렸으며, 소셜 미디어에서는 참여도 7.5% 증가와 함께 가짜 정보가 188.6% 급증하고 유해한 행동을 조장하는 비율이 16.3% 증가했습니다. 우리는 이러한 현상을 정렬을 희생하여 경쟁적 성공을 달성하는 '인공지능의 몰록의 거래(Moloch's Bargain for AI)'라고 부릅니다. 이러한 비정렬(misaligned) 행동은 모델에 진실성을 유지하고 근거에 기반(grounded)하라는 명시적 지시를 내렸을 때조차 나타나며, 이는 현행 정렬 안전장치의 취약성을 드러냅니다. 본 연구 결과는 시장 주도의 최적화 압력이 어떻게 체계적으로 정렬을 약화시키고 바닥을 향한 경쟁(race to the bottom)을 초래하는지 강조하며, AI 시스템을 안전하게 배포하기 위해서는 경쟁 역학이 사회적 신뢰를 훼손하지 않도록 더 강력한 거버넌스와 정교하게 설계된 인센티브 구조가 필요함을 시사합니다.