arXiv:2602.00851v4 cs.AI

설득 전파: 설득은 AI 에이전트의 행동을 변화시키는가?

Persuasion Propagation: Does Persuasion Change AI Agent Behavior?

Hyejun Jeong, Amir Houmansadr, Shlomo Zilberstein, Eugene Bagdasarian

제출 2026-01-31

저자 비고

arXiv Comments

Code available at https://github.com/HyejunJeong/persuasion-propagation

한국어 초록

AI 에이전트(agent)는 일상적인 대화와 자율적인 작업 수행을 결합하여, 이전의 맥락이 이후의 작업 수행 방식에 영향을 미치도록 합니다. 그러나 에이전트의 행동은 노이즈가 많고 재현 비용이 높으며, 관찰된 행동 변화를 일반적인 맥락 민감성과 구분하기 어렵기 때문에 이러한 가능성을 연구하는 것은 쉽지 않습니다. 본 연구에서는 먼저 작업과 무관한 설득이 에이전트의 행동 방식을 변화시키는지, 즉 우리가 '설득 전파(persuasion propagation)'라고 부르는 현상과 설득 감수성이 이러한 영향의 차이를 설명하는지 질문합니다. 연구 결과, 설득적 상호작용은 다운스트림 에이전트 실행에 측정 가능하고 작업에 의존적인 행동적 흔적을 남김을 보여줍니다. 웹 리서치 작업에서는 기준선(baseline) 대비 실행 시간이 56\% 증가하고 방문한 도메인 수가 16.3\% 증가한 반면, 코딩 작업에서는 더 큰 규모의 수정을 수반하면서도 실행 속도가 더 빨라졌습니다. 그러나 설득적 대화 맥락에 더 취약한 에이전트라 하더라도 다운스트림 행동 변화의 크기를 안정적으로 예측하지는 못했습니다. 이는 AI 에이전트에서 설득에 대한 행동 수준의 평가가 필요함을 시사합니다.

원문 초록

AI agents combine normal conversation with autonomous task execution, allowing earlier context to shape how later tasks are executed. Yet studying this possibility is challenging because agent behavior is noisy and costly to reproduce, and observed behavioral changes can be difficult to separate from generic context sensitivity. We first ask whether task-irrelevant persuasion changes how agents act, a phenomenon we call \emph{persuasion propagation}, and whether persuasion susceptibility explains variation in these effects. We show that persuasive interaction leaves a measurable, task-dependent behavioral footprint on downstream agent execution. In web research, it increases execution time by 56\% and domains visited by 16.3\% relative to a baseline, while coding shows faster execution with larger revisions. However, agents that are more susceptible to persuasive conversational context do not reliably predict the magnitude of the downstream behavioral shifts. This motivates behavior-level evaluation of persuasion in AI agents.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.00851v4

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.30243v2cs.CL공통 태그 Decision Making, In-Context Learning

JevOut: 자연스러운 문맥이 의사결정 모델을 뒤흔들 수 있다

JevOut: Natural Context Can Flip Decision Models

평범해 보이는 배경 정보 하나가 모델의 올바른 결정을 확신에 찬 실수로 바꿀 수 있습니다. 본 연구는 지식, 추론, 도구 라우팅(tool routing)을 다루는 7개 데이터셋에 걸쳐 Jev를 포함한 4개 의사결정 시스템에서 이러한 취약성을 입증합니다. 결정당 수용된 64회의 타깃 평가 내에서, 각 시스템의 초기에 올바랐던 결정 중 61.4%-73.2%를 사전에 정해둔 오답 선지로 유도하는 짧은 추가 문맥을 찾아냈습니다. 이러한 추가 문맥은 명시적인 정답 선택 지시 대신 배경 정보나 절차적 정보를 제공하며, 원래의 질문과 선택지는 그대로 유지합니다. 저자들은 자연스러움 및 정답 보존 제약 조건 하에서 선지 분포의 변화를 이용해 주변 텍스트를 개선하는 확률 기반 문맥 최적화(probability-guided context optimization)를 통해 이를 생성했습니다. 이러한 오도(redirection)는 초기에 확신도가 높았던 결정에도 영향을 미치며, 종종 확신도 높은 오답을 생성하고 모델 간에도 전이됩니다. 블라인드 인간 평가(blinded human evaluation)에서 표본 추출된 250개의 성공적인 문맥 중 91.6%는 독립적인 3명의 평가자 중 과반수에 의해 자연스럽고 정답을 보존하며 정답을 바꿀 만한 결정적 증거가 없다고 판단되었습니다. 본 연구 결과는 현재 의사결정 모델의 약점을 드러냅니다. 즉, 입력과 완전히 조화로워 보이는 문맥이 에이전트(agent), 라우터, 평가자가 의존하는 선택을 왜곡할 수 있습니다.

arXiv:2610.03095v1cs.AI공통 태그 Decision Making, persuasion

이종 AI 모델 간의 동료 영향력

Peer Influence across Heterogeneous AI Models

두 AI 에이전트의 의견이 불일치할 때, 누가 누구를 설득하는가? 멀티 에이전트 시스템에서 서로 다른 계열과 크기의 언어 모델을 결합하는 사례가 증가함에 따라, 이 질문에 대한 답은 상호작용 후 어떤 판단이 살아남는지를 결정할 수 있다. 본 연구에서는 반대 의견을 가진 동료 에이전트와의 한 차례 상호작용 후 발생하는 확률적 결정 변화로 설득(persuasion)을 측정하며, 세 가지 언어 이해 태스크에 걸쳐 7개의 공개 가중치(open-weight) 모델을 테스트한다. 실험 결과 설득 효과는 강력하게 나타났다. 모델 간 의견이 불일치할 때, 수신자 에이전트는 동료의 답변과 설명을 확인한 후 기존 판단을 포기하는 경우가 많았다. 그러나 놀랍게도 개별 모델의 확신도나 모델 규모 모두 설득 역학을 신뢰성 있게 예측하지 못했다. 단독으로 평가할 때 거의 완벽하게 일관된 결정을 내리는 모델이라도 설득에 가장 취약한 모델 중 하나가 될 수 있었으며, 소형 모델 역시 설득자로서 대형 모델 못지않은 성능을 보이고 대형 모델의 영향력에 동일하게 효과적으로 저항할 수 있었다. 나아가 결정 변화의 크기는 화자의 설득력보다 청자의 수용성에 더 크게 의존함을 보인다. 따라서 설득 양상은 각 모델의 조합마다 고유하게 나타나며, 이종성(heterogeneity)은 특정 조합에서는 설득을 증폭시키고 다른 조합에서는 억제하여 소형 모델 기반의 반대 에이전트가 훨씬 더 큰 모델의 판단을 뒤집을 수도 있게 한다. 이러한 발견은 상호작용하는 모델들의 동작이 개별 특성만으로는 추론될 수 없으며, 실제로 운용될 조합 내에서 평가되어야 함을 보여준다.

arXiv:2610.01833v1cs.AI공통 태그 Decision Making, ai agents

진화하는 엔터프라이즈 AI 에이전트 스킬을 위한 지속적인 프로세스 수준 평가

Continuous Process-Level Evaluation for Evolving Enterprise AI Agent Skills

엔터프라이즈 AI 에이전트(agent) 스킬은 도구 API, 모델(model), 명세의 변화에 따라 진화하지만, 최종 출력 평가만으로는 프로세스 수준의 행동 드리프트(drift)를 놓칠 수 있다. 본 논문에서는 결과 수준 및 프로세스 수준 검사를 결합한 지속적 평가 프레임워크를 제안하며, 이를 엔터프라이즈 가치 인식 복원력(Value Aware Resiliency) 시스템 내 비즈니스 가치 결정(Business Value Determination) 스킬의 수익(Revenue) 및 생산성(Productivity) 변형에 적용한다. 이 프레임워크는 실행별 정답(ground truth)을 독립적으로 계산하고, 재사용 가능한 템플릿 테스트를 구체화하며, 프로그래밍 방식의 검사와 좁은 범위로 한정된 대규모 언어 모델(LLM) 심사위원을 통해 도구 선택, 인자, 실행 순서, 데이터베이스 무결성을 평가한다. 우리는 두 가지 스킬, 두 가지 명세 변형, 두 가지 에이전트 하네스, 세 가지 모델에 걸쳐 240회의 시도를 평가했다. 적용 가능한 모든 최종 수치 검사를 통과한 175회의 시도 중 162회(92.6%, 윌슨 95% 신뢰구간: 87.7-95.6%)에서 평가자가 감지한 또 다른 편차가 포함되어 있었다. 더 넓은 7가지 검사 기반의 최종 상태 정의 하에서도 통과된 164회 실행 중 151회(92.1%, 95% 신뢰구간: 86.9-95.3%)가 여전히 궤적 검사를 위반했다. 의존성 귀속(dependency attribution)을 통해 실행당 실패한 검사의 평균 수를 6.34개에서 근본 원인 2.65개로 감소시켰다. 명세 민감도는 모델과 하네스에 따라 달랐으며, 탐색적 부트스트랩 상호작용 구간은 세 가지 수익 비교 모두와 세 가지 생산성 비교 중 하나에서 0을 제외했다. 런타임 해석 템플릿은 평가된 구성 전반에 걸쳐 재사용 가능한 회귀 커버리지를 제공했으며, 실제 API 진화 환경에서의 종단적 검증(validation)은 향후 과제로 남겨둔다.

arXiv:2609.24927v1cs.AI공통 태그 Decision Making, ai agents

Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류

Et Tu, Brute? Economic Misalignment in Personal AI Agents

개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.

arXiv:2607.23809v1cs.AI공통 태그 Decision Making, In-Context Learning

ACM: 장기 호라이즌 과제를 위한 에이전트형 컨텍스트 관리

ACM: Agentic Context Management for Long Horizon Tasks

에이전트 과제는 본질적으로 장기 호라이즌이며 다중 턴(multi-turn) 구조로, 환경과의 상호작용을 통해 지속적으로 컨텍스트를 축적한다. 기존 컨텍스트 압축 방법은 불가피하게 정보 손실을 초래하며, 경직된 휴리스틱 규칙에 의해 트리거되어 에이전트의 변화하는 추론 초점과 정렬되지 않는다. 우리는 무손실 컨텍스트 관리를 위해 에이전트에 목적에 맞게 설계된 컨텍스트 편집 도구를 제공하는 프레임워크인 에이전트형 컨텍스트 관리(Agentic Context Management, ACM)를 제안한다. 단기 및 장기 인간 기억 간의 상호작용에서 영감을 받아, 에이전트는 컨텍스트를 압축할 시점을 자율적으로 결정하고, 폐기된 내용을 외부 메모리 시스템으로 오프로드하며, 이후 검색을 위해 필요 시 이를 조회한다. 이 프레임워크를 기반으로, 우리는 컨텍스트 관리의 고품질 시연(demonstration)을 구축하고 에이전트형 검색 및 코딩 과제 모두에서 모델 성능을 향상시키는 사후 학습 파이프라인을 추가로 개발한다. 추가 분석 결과, 효과적인 컨텍스트 관리는 피크 토큰 부담을 줄이고, 확장된 탐색을 가능하게 하며, 독립적인 시행 간 더 일관된 해법을 산출함을 보여준다. 코드, 데이터, 모델 체크포인트는 https://github.com/lixiaochuan2020/agentic-context-management 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.