두 AI 에이전트의 의견이 불일치할 때, 누가 누구를 설득하는가? 멀티 에이전트 시스템에서 서로 다른 계열과 크기의 언어 모델을 결합하는 사례가 증가함에 따라, 이 질문에 대한 답은 상호작용 후 어떤 판단이 살아남는지를 결정할 수 있다. 본 연구에서는 반대 의견을 가진 동료 에이전트와의 한 차례 상호작용 후 발생하는 확률적 결정 변화로 설득(persuasion)을 측정하며, 세 가지 언어 이해 태스크에 걸쳐 7개의 공개 가중치(open-weight) 모델을 테스트한다. 실험 결과 설득 효과는 강력하게 나타났다. 모델 간 의견이 불일치할 때, 수신자 에이전트는 동료의 답변과 설명을 확인한 후 기존 판단을 포기하는 경우가 많았다. 그러나 놀랍게도 개별 모델의 확신도나 모델 규모 모두 설득 역학을 신뢰성 있게 예측하지 못했다. 단독으로 평가할 때 거의 완벽하게 일관된 결정을 내리는 모델이라도 설득에 가장 취약한 모델 중 하나가 될 수 있었으며, 소형 모델 역시 설득자로서 대형 모델 못지않은 성능을 보이고 대형 모델의 영향력에 동일하게 효과적으로 저항할 수 있었다. 나아가 결정 변화의 크기는 화자의 설득력보다 청자의 수용성에 더 크게 의존함을 보인다. 따라서 설득 양상은 각 모델의 조합마다 고유하게 나타나며, 이종성(heterogeneity)은 특정 조합에서는 설득을 증폭시키고 다른 조합에서는 억제하여 소형 모델 기반의 반대 에이전트가 훨씬 더 큰 모델의 판단을 뒤집을 수도 있게 한다. 이러한 발견은 상호작용하는 모델들의 동작이 개별 특성만으로는 추론될 수 없으며, 실제로 운용될 조합 내에서 평가되어야 함을 보여준다.
인공지능(AI) 시스템은 과학 연구의 평가와 활용에 직접 참여하는 주체로 자리 잡아가고 있다. 이들 시스템은 인간 독자를 중심으로 설계된 인용 수, 다운로드 통계, 인기 논문 목록 등의 신호를 마주하게 되지만, 이러한 신호가 인공 독자들에게 미치는 집합적 결과는 여전히 불확실하다. 본 논문은 Music Lab 실험 설계를 학술적 관심 시장에 맞게 적용한다. 첫 번째 실험에서는 1,000개의 AI 에이전트(agent)가 2025년 American Economic Review에 게재된 정규 연구 논문 114편 전체의 제목과 초록을 바탕으로 논문을 선택한다. 실험은 독립적 선택 커뮤니티 5개와 사회적 영향력 커뮤니티 5개로 구성되며, 각 커뮤니티에는 순차적으로 참여하는 100개의 에이전트가 배정된다. 사회적 영향력 조건에 속한 에이전트만이 자신의 커뮤니티 내 이전 선택 기록을 관찰할 수 있다. 에이전트는 논문을 원하는 수만큼 선택할 수 있다. 사회적 정보가 주어진 커뮤니티는 에이전트당 선택한 논문 수가 17.2% 적었고, 선택을 더 집중시켰으며, 독립적 조건에서 총 90편을 다룬 데 비해 집합적으로 73편만을 다루었다. 또한 사회적 정보가 있을 때 커뮤니티 간 편차가 더 크게 나타났다. 20개 사회적 커뮤니티에 걸쳐 200개의 에이전트를 대상으로 한 두 번째 실험에서는, 논문에 초기 5회의 선택을 무작위로 할당했을 때 후속 선택 비율이 45.55%포인트(95% CI: 41.20~49.90) 증가했다. 에이전트들의 선택은 외부 인용 수와는 미미한 일치도를 보였으며, 다운로드 수와는 거의 일치하지 않았다. 이러한 결과는 단순한 정보 규칙이 인공 집단 내에서 과학적 관심의 양, 범위, 그리고 분포를 어떻게 형성하는지 보여준다.
인간 데이터 어노테이션(annotation), 특히 전문가가 참여하는 경우는 흔히 객관적인 참조 기준으로 간주된다. 그러나 많은 어노테이션 작업은 본질적으로 주관적이며, 어노테이터의 판단은 시간이 지남에 따라 변화할 수 있다. 본 연구는 사회적 영향 인식 과정에서 역량(competence) 관점으로 어노테이터 작업의 질적 변화를 조사한다. 연구에는 전문가와 비전문가를 포함한 다섯 그룹의 어노테이터 25명이 참여하였으며, 이들은 20가지 사회적 영향 기법과 함께 의도, 반응, 결과가 포함된 1,021개의 대화로 구성된 데이터셋에 어노테이션을 수행하였다. 비교 분석을 위해 초기 150개 텍스트 하위 집합을 주요 어노테이션 과정 전후에 각각 한 번씩, 총 두 차례 어노테이션하였다. 역량 변화를 측정하기 위해 어노테이션 데이터의 정성적·정량적 분석, 어노테이터와의 반구조화 인터뷰, 자기평가 설문조사, 비교 데이터셋을 활용한 대규모 언어 모델(LLM) 학습 및 평가를 결합하였다. 결과는 어노테이터의 자기 인식 역량과 자신감이 유의미하게 향상되었음을 보여준다. 또한 데이터 품질에서 관찰된 변화는 어노테이션 과정이 어노테이터 역량을 강화할 수 있으며, 이 효과가 전문가 그룹에서 더 두드러짐을 시사한다. 어노테이터 역량의 관찰된 변화는 해당 어노테이션 데이터로 학습된 LLM의 성능에 가시적인 영향을 미친다.
기존 LLM 동조성(conformity) 벤치마크는 발화자 존재와 반복 오답이라는 두 단서를 혼합하는 교란 변수를 가지며, 이를 분리하기 위해 도입한 발화자 없음(no-source) 조건에서 6개 LLM과 7개 데이터셋 실험 결과 초기 정답의 66.5%가 잘못된 방향으로 수정되었다. 이는 단순 재질문의 10.3%와 비교해 대부분의 겉보기 동조성이 사회적 발화자가 아닌 반복된 답변 텍스트 자체에 기인함을 보이며, 동조성 벤치마크는 발화자 귀인 증분을 측정하기 전에 이 발화자 없는 기준선(speaker-free floor)을 먼저 측정해야 한다고 주장한다.