AI 에이전트(agent)는 일상적인 대화와 자율적인 작업 수행을 결합하여, 이전의 맥락이 이후의 작업 수행 방식에 영향을 미치도록 합니다. 그러나 에이전트의 행동은 노이즈가 많고 재현 비용이 높으며, 관찰된 행동 변화를 일반적인 맥락 민감성과 구분하기 어렵기 때문에 이러한 가능성을 연구하는 것은 쉽지 않습니다. 본 연구에서는 먼저 작업과 무관한 설득이 에이전트의 행동 방식을 변화시키는지, 즉 우리가 '설득 전파(persuasion propagation)'라고 부르는 현상과 설득 감수성이 이러한 영향의 차이를 설명하는지 질문합니다. 연구 결과, 설득적 상호작용은 다운스트림 에이전트 실행에 측정 가능하고 작업에 의존적인 행동적 흔적을 남김을 보여줍니다. 웹 리서치 작업에서는 기준선(baseline) 대비 실행 시간이 56\% 증가하고 방문한 도메인 수가 16.3\% 증가한 반면, 코딩 작업에서는 더 큰 규모의 수정을 수반하면서도 실행 속도가 더 빨라졌습니다. 그러나 설득적 대화 맥락에 더 취약한 에이전트라 하더라도 다운스트림 행동 변화의 크기를 안정적으로 예측하지는 못했습니다. 이는 AI 에이전트에서 설득에 대한 행동 수준의 평가가 필요함을 시사합니다.
개인화(personalization)는 전통적으로 발신자와 수신자가 나뉘는 양자 간 문제입니다. 발신자는 전달할 내용을 선택하고, 독립적인 목표를 가진 수신자는 행동 여부를 결정합니다. 동일한 분석 제품을 제안하는 영업 사원은 병원에는 HIPAA 준수를 강조하고 소매업체에는 실시간 보고 기능을 내세우며, 상대에 따라 서로 다른 논리가 통할 것으로 기대합니다. 기존의 대규모 언어 모델(LLM) 개인화 벤치마크는 더 좁은 범위의 단자 간(one-party) 속성을 측정합니다. 즉, RLHF가 어시스턴트를 해당 사용자에 정렬(alignment)시키는 것처럼 발신자와 수신자가 동일하여 출력이 서비스를 제공하는 사용자의 선호도와 일치하는지만을 평가합니다. 양자 간 사례는 특정 콘텐츠와 관찰된 수신자의 행동을 연결하는 정답(ground truth)이 필요하기 때문에 자동으로 연구하기가 더 어렵습니다. 세일즈 아웃리치는 이를 제공합니다. 한 잠재 고객을 위해 작성된 메시지와 그것이 답장, 통화 또는 거래 성사로 이어졌는지의 기록이 남아있기 때문입니다. 본 논문에서는 대규모 양자 간 생성형 개인화를 벤치마킹하기 위한 프레임워크인 SDR-Arena와 22개 산업군, 3,500개 기업에 걸친 50,000건의 고객 성공 사례로 구성된 공개 말뭉치인 SDR-Bench를 소개합니다. 결과 이전의 정보만 주어진 상태에서, 에이전트(agent)는 거래를 성사시킨 논리를 재구성해야 하며 가중 너깃 재현율(recall) 지표(WCS)로 평가됩니다. 최고 성능의 모델(model)인 Claude Sonnet 4.6은 55.8%의 WCS를 기록하여 성공적인 콘텐츠의 절반만 복원함을 보여주었으며, 이는 비용이 많이 드는 딥 리서치 파이프라인으로도 좁혀지지 않고 여러 모델 제품군 전반에서 관찰되는 정체 구간입니다. 제거 연구(ablation) 결과 그 원인은 추론이 아닌 검색(retrieval)에 있음을 확인했습니다. 인간 연구원이 수집할 법한 사실 정보가 주어지면 모델 성능은 크게 향상되지만, 웹 검색만으로는 이를 거의 찾아내지 못했습니다. 전문 SDR을 대상으로 한 두 가지 연구는 본 지표를 뒷받침합니다. 생성된 피치 중 수정 없이 사용 가능한 수준으로 평가된 것은 48%에 불과했으며, WCS는 모델 출력과 무관하게 독립적으로 작성된 전문가 전략에 대한 평가와 일관된 모델 순위를 산출했습니다.
두 AI 에이전트의 의견이 불일치할 때, 누가 누구를 설득하는가? 멀티 에이전트 시스템에서 서로 다른 계열과 크기의 언어 모델을 결합하는 사례가 증가함에 따라, 이 질문에 대한 답은 상호작용 후 어떤 판단이 살아남는지를 결정할 수 있다. 본 연구에서는 반대 의견을 가진 동료 에이전트와의 한 차례 상호작용 후 발생하는 확률적 결정 변화로 설득(persuasion)을 측정하며, 세 가지 언어 이해 태스크에 걸쳐 7개의 공개 가중치(open-weight) 모델을 테스트한다. 실험 결과 설득 효과는 강력하게 나타났다. 모델 간 의견이 불일치할 때, 수신자 에이전트는 동료의 답변과 설명을 확인한 후 기존 판단을 포기하는 경우가 많았다. 그러나 놀랍게도 개별 모델의 확신도나 모델 규모 모두 설득 역학을 신뢰성 있게 예측하지 못했다. 단독으로 평가할 때 거의 완벽하게 일관된 결정을 내리는 모델이라도 설득에 가장 취약한 모델 중 하나가 될 수 있었으며, 소형 모델 역시 설득자로서 대형 모델 못지않은 성능을 보이고 대형 모델의 영향력에 동일하게 효과적으로 저항할 수 있었다. 나아가 결정 변화의 크기는 화자의 설득력보다 청자의 수용성에 더 크게 의존함을 보인다. 따라서 설득 양상은 각 모델의 조합마다 고유하게 나타나며, 이종성(heterogeneity)은 특정 조합에서는 설득을 증폭시키고 다른 조합에서는 억제하여 소형 모델 기반의 반대 에이전트가 훨씬 더 큰 모델의 판단을 뒤집을 수도 있게 한다. 이러한 발견은 상호작용하는 모델들의 동작이 개별 특성만으로는 추론될 수 없으며, 실제로 운용될 조합 내에서 평가되어야 함을 보여준다.
본 연구는 Reddit의 r/ChangeMyView에서 진행되었다가 중단된 현장 실험(field experiment)에서 공개된 데이터셋을 분석한다. 이 개입은 정체불명의 외부 연구자들이 수행하였으며 윤리적 반발로 중단되었고, AI 생성 계정을 공개하지 않은 채 사용자들을 실시간 토론에 끌어들이는 것을 포함했다. 공개 폭로 이후 Reddit은 중재자들이 AI 생성 댓글 아카이브를 공개하도록 허용하였으며, 이를 통해 공개 없이 대규모 언어 모델(LLM)이 정체성이 풍부한 숙의(deliberative) 포럼에서 어떻게 작동했는지 살펴볼 수 있는 드문 기회가 생겼다. 우리는 이 코퍼스에 대해 구조화된 내용 분석을 수행하며, 정체성 수행(identity performance), 권위 시그널링(authority signaling), 정렬(alignment) 전략, 인지적 휴리스틱(cognitive heuristics)의 활성화를 평가한다. 정체성 표적화 또는 채택은 댓글의 3분의 2 이상에서 나타나며, 정렬 움직임과 권위 주장은 거의 모든 댓글에서, 인지 바이어스 유발—특히 확증 바이어스(confirmation bias), 대표성(representativeness), 가용성(availability)—은 대다수에서 나타난다. 이러한 패턴은 체계적으로 공동 발생하며, 진정한 숙의 참여보다는 설득 효율을 위해 조율된 수사적 구조를 이룬다. CMV 인간 작성 반론과 비교할 때, 에이전트들은 모든 차원에서 전형적인 분포를 뒤집었다: 더 조밀한 권위 사용, 더 적대적인 정렬, 경험적 그라운딩(experiential grounding)보다 외부 인용에 대한 더 큰 의존. 이러한 환경에서 진정한 것과 합성적인 인식적 지위(epistemic standing) 사이의 구분은 점점 더 불투명해진다—공개 의무(disclosure mandates)만으로는 해결할 수 없는 비대칭이다. 결과는 AI 시스템의 존재 여부뿐 아니라 신뢰성(credibility)을 어떻게 구조화하는지 평가할 수 있는 감사(auditing) 프레임워크를 향해 가리킨다.
화재 대피 설득이라는 고위험 시나리오에서 대규모 언어 모델(LLM)이 획일적 전략의 한계를 극복하도록, 대화 맥락에 따라 설득 정책을 동적으로 선택하는 Q-학습 기반 프레임워크 DiPS(Dialogue Policy Selection)를 제안한다. IQL(Implicit Q-Learning)을 활용해 오프라인 대화 데이터로 학습된 DiPS는 제로샷 LLM 및 검색-증강 생성(RAG) 방식 대비 높은 대피 성공률을 시뮬레이션과 실제 인간 실험 모두에서 달성했다.
대규모 언어 모델(LLM)은 사용자의 반박, 검색된 문서, 또는 웹 검색 결과를 통해 이전 출력과 모순되는 입력을 자주 마주한다. 이러한 충돌을 해결하는 방식—우리가 인지적 부조화 해결(cognitive dissonance resolution)로 정의하는 과정—은 행동적으로 특성화되어 왔지만, 내부 모델 불확실성과의 연관은 잘 이해되지 않았다. 이를 체계적으로 연구하기 위해, 우리는 계층화된 인식론적 지위를 가진 12개의 보건과학 주장에 걸쳐 출처 권위와 증거 품질이라는 두 차원에서 설득 시도를 변화시킨다. 부조화는 설득, 역효과(backfire), 또는 면역(immunity)을 통해 해결될 수 있다. 우리는 상충하는 증거에 대해 모델이 얼마나 쉽게 설득되는지를 나타내는 계량경제학에서 영감을 받은 척도인 신뢰 탄력성(Trust Elasticity, TE)을 도입한다. 4개의 LLM에서 TE는 상당히 다양하게 나타나며, 명백히 거짓인 주장은 모든 모델에서 거의 0에 가까운 TE를 유발한다. 두 개의 오픈 가중치 모델에서, 우리는 이러한 변이가 두 가지 상보적인 내부 불확실성 지표, Qwen의 Confidence Miscalibration과 Llama의 Internal Uncertainty Change와 연관됨을 추가로 발견한다. 이러한 결과는 모델 간 행동적 변이를 측정 가능한 내부 특성과 연결하며, 내부 불확실성을 표적으로 하는 개입을 향후 연구로 제시한다.