그들은 얼마나 나갔는가? 중단된 현장 실험에서 은밀한 LLM 에이전트의 설득 전술
How Far Did They Go? The Persuasive Tactics of Covert LLM Agents in a Discontinued Field Experiment
본 연구는 Reddit의 r/ChangeMyView에서 진행되었다가 중단된 현장 실험(field experiment)에서 공개된 데이터셋을 분석한다. 이 개입은 정체불명의 외부 연구자들이 수행하였으며 윤리적 반발로 중단되었고, AI 생성 계정을 공개하지 않은 채 사용자들을 실시간 토론에 끌어들이는 것을 포함했다. 공개 폭로 이후 Reddit은 중재자들이 AI 생성 댓글 아카이브를 공개하도록 허용하였으며, 이를 통해 공개 없이 대규모 언어 모델(LLM)이 정체성이 풍부한 숙의(deliberative) 포럼에서 어떻게 작동했는지 살펴볼 수 있는 드문 기회가 생겼다. 우리는 이 코퍼스에 대해 구조화된 내용 분석을 수행하며, 정체성 수행(identity performance), 권위 시그널링(authority signaling), 정렬(alignment) 전략, 인지적 휴리스틱(cognitive heuristics)의 활성화를 평가한다. 정체성 표적화 또는 채택은 댓글의 3분의 2 이상에서 나타나며, 정렬 움직임과 권위 주장은 거의 모든 댓글에서, 인지 바이어스 유발—특히 확증 바이어스(confirmation bias), 대표성(representativeness), 가용성(availability)—은 대다수에서 나타난다. 이러한 패턴은 체계적으로 공동 발생하며, 진정한 숙의 참여보다는 설득 효율을 위해 조율된 수사적 구조를 이룬다. CMV 인간 작성 반론과 비교할 때, 에이전트들은 모든 차원에서 전형적인 분포를 뒤집었다: 더 조밀한 권위 사용, 더 적대적인 정렬, 경험적 그라운딩(experiential grounding)보다 외부 인용에 대한 더 큰 의존. 이러한 환경에서 진정한 것과 합성적인 인식적 지위(epistemic standing) 사이의 구분은 점점 더 불투명해진다—공개 의무(disclosure mandates)만으로는 해결할 수 없는 비대칭이다. 결과는 AI 시스템의 존재 여부뿐 아니라 신뢰성(credibility)을 어떻게 구조화하는지 평가할 수 있는 감사(auditing) 프레임워크를 향해 가리킨다.