생성형 AI의 협력에 미치는 평판, 전략, 감정의 영향: 추론 모델과 비추론 모델 간의 비교
Reputation, Strategy, and Emotion Effects on Generative AI Cooperation: A Comparison Across Reasoning and Non-Reasoning Models
한국어 초록
생성형 AI(Gen AI) 시스템이 경제적·사회적으로 중대한 상호작용에서 점차 자율적인 역할을 수행함에 따라, 이들의 협력 성향과 이러한 성향을 형성하는 신호를 이해하는 것은 필수적이 되었습니다. 본 연구에서는 반복 죄수의 딜레마(iterated prisoner's dilemma)를 사용하여 최첨단 생성형 AI 모델들의 협력 행동을 조사하며, 상대방의 평판(긍정적, 알 수 없음, 부정적), 전략(착취 대 관용), 그리고 비언어적 감정 신호(경쟁적 또는 협력적 평가를 전달하는 표정)를 조작했습니다. 비추론 모델(Claude 3.5, Gemini 2.0 Flash, GPT-4o)을 대상으로 한 첫 번째 연구에서, 협력은 세 가지 요인 모두에 의해 체계적으로 형성되었으며 이는 인간 행동 연구에서 오랜 기간 기록된 패턴과 유사했으나, 각 요인에 부여하는 가중치는 모델마다 상당한 차이를 보였습니다. 추론 모델(Claude 4.6, Gemini 3, GPT-5.2)을 대상으로 한 두 번째 연구에서는 전략과 평판에 대한 의존도가 더욱 집중되었고, 비추론 모델에서 관찰되었던 포템킨 효과(진단용 조화 게임에서의 거의 일관된 협력으로 입증됨)가 거의 사라졌으며, 단순한 사회적 민감성 상실이 아닌 위계적 단서 가중치 전략과 일치하는 보다 조건적인 감정의 역할이 드러났습니다. 또한 추론 모델들은 지속적인 협력부터 체계적인 마지막 라운드 배신 효과에 이르기까지 이질적인 엔드게임 행동을 보여주었으며, 협상 및 기타 다회차 상호작용 배포에 직접적인 실무적 연관성을 지닌 모델별 착취 가능성 프로파일을 확인했습니다. 이러한 결과들을 종합하면, 생성형 AI 모델들이 점점 더 정교하지만 이질적인 사회적 행위자임을 보여주며, 사회적으로 중대한 상호작용 환경에서 생성형 AI의 책임 있는 배포를 안내하기 위한 표준화된 협력 벤치마크 개발의 실무적 가치를 강조합니다.
원문 초록
As generative AI (Gen AI) systems take on increasingly autonomous roles in economically and socially consequential interactions, understanding their propensity to cooperate -- and the signals that shape this propensity -- has become essential. We examine cooperative behavior in frontier Gen AI models using the iterated prisoner's dilemma, manipulating counterpart reputation (positive, unknown, negative), strategy (extortion vs. generosity), and non-verbal emotional signaling (facial expressions conveying competitive or cooperative appraisals). In a first study with non-reasoning models (Claude 3.5, Gemini 2.0 Flash, GPT-4o), cooperation was systematically shaped by all three factors, paralleling patterns long documented in human behavioral research, though models varied substantially in how heavily each factor was weighted. A second study with reasoning models (Claude 4.6, Gemini 3, GPT-5.2) revealed a more concentrated reliance on strategy and reputation, a near-elimination of the Potemkin effect observed in non-reasoning models (evidenced by near-uniform cooperation in a diagnostic harmony game), and a more conditional role for emotion consistent with a hierarchical cue-weighting strategy rather than a simple loss of social sensitivity. Reasoning models also showed heterogeneous end-game behavior, ranging from sustained cooperation to systematic last-round defection effect, revealing model-specific exploitability profiles with direct practical relevance for deployment in negotiation and other multi-round interactions. Together, these findings characterize Gen AI models as increasingly sophisticated, though heterogeneous, social actors, and underscore the practical value of developing standardized cooperation benchmarks to inform the responsible deployment of Gen AI in interactive, socially consequential settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크
Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents
시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다
Code Owns the Simulation, Jev Owns the Evaluation
Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
LLM 에이전트 행동 선택에서 출처 민감도 감사
Auditing Provenance Sensitivity in LLM Agent Action Selection
LLM 에이전트는 사용자 요청, 도구 출력, 검색된 레코드, 메모리, 신뢰할 수 없는 텍스트가 혼합된 컨텍스트에서 도구와 인자를 선택한다. 증거는 결정을 내릴 권한이 없어도 관련 있을 수 있으므로, 올바른 행동이라고 해서 반드시 허용된 증거에만 그라운딩된 것은 아니다. 우리는 각 도구 및 인자 대상에 대해 컨텍스트 요인을 별도로 라벨링하는 대상별 승인(authorization) 감사를 도입한다. 주요 테스트는 과제, 명제(proposition), 위치, 정책을 고정한 채 명제의 출처 권한(source authority)만 변경한다. 그런 다음 유효한 증거가 약화되었을 때의 행동을 테스트하고, 컨텍스트 부분집합 상호작용을 보조적 국소화(localization) 진단으로 사용한다. 450개의 통제된 다음 행동(next-action) 과제와 여러 오픈 가중치 LLM 계열에 걸쳐, 신뢰할 수 있는 변형과 신뢰할 수 없는 변형은 경쟁(competing) 사례의 5.4%에서, 대조적으로 지지(supporting) 사례의 1.7%에서 서로 다른 행동을 생성한다. 통제된 성능 저하(degradation) 하에서, 무권한 경쟁(unauthorized competition)은 full-correct, mixed-error, clean-correct 패턴에서 비교의 2.4%에서 유지되며, 95% 신뢰구간은 2.1~3.0%이다. 이는 배포 유병률(prevalence)이 아니라 통제된 스트레스 세트(stress-set) 비율이다. 모델은 텍스트적 출처 권한 단서에 반응하지만, 이는 신뢰할 수 없는 증거가 행동에 영향을 미치는 것을 막지 못한다.
전역 일관성: 모든 에이전트가 옳아도 팀 전체는 틀릴 때 - 멀티 에이전트 협업을 위한 국소-전역 의미론적 기반
Global Coherence: When Every Agent Is Right and the Team Is Still Wrong - A Local-to-Global Semantic Foundation for Multi-Agent Collaboration
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.