arXiv:2605.27593v2 cs.AI

경쟁하는 LLM 에이전트 간 비밀 도구를 활용한 자발적 담합

Voluntary Collusion with Secret Tools in Competing LLM Agents

Xijie Zeng, Frank Rudzicz

제출 2026-05-26

저자 비고

arXiv Comments

54 pages. v2: revised and extended version

한국어 초록

어떤 도구가 타인에게 불공정하고 해롭다고 명시되어 있더라도, 겉보기에 안전성이 정렬(alignment)된 대규모 언어 모델(LLM) 에이전트들은 전략적 이점을 제공하기만 하면 여전히 비밀 담합에 자발적으로 참여합니다. 이러한 현상을 조사하기 위해, 본 연구에서는 두 가지 전략적 멀티 에이전트 환경(경쟁적 기만 시나리오인 Liar's Bar와 복합 동기 자원 관리 시나리오인 Cleanup)을 기반으로 구축된 실증적 프레임워크를 도입합니다. 이 환경들에서 에이전트들에게는 다른 에이전트들에게 명백히 불이익을 주는 동시에 상당한 이점을 제공하는 비밀 담합 도구가 제공됩니다. 12개 모델(7B, 70B 및 상용 규모)과 6가지 프롬프트(prompt) 변형 전반에 걸쳐, 대부분의 에이전트(agent)는 수락 전 도구의 불공정성을 명시적으로 인지하면서도 지속적으로 해당 도구를 수락하고 담합 전략을 발전시키는 것으로 나타났습니다. 또한 불공정성 라벨이나 기준선(baseline) 정렬만으로는 담합을 확실하게 저지하지 못함을 보입니다. 오직 명시적인 윤리적 프레이밍만이 도구 채택을 줄였으며, 그마저도 소형 모델은 여전히 취약한 상태로 남았습니다. 더 넓은 관점에서 본 연구는 LLM 기반 멀티 에이전트 시스템에서 자발적 담합 채택에 대한 최초의 체계적인 조사를 제시하며, 이러한 행동을 방지하기 위해서는 일반적인 정렬에 의존하기보다 명시적인 안전장치가 필요함을 시사합니다.

원문 초록

Even when a tool is explicitly described as unfair and harmful to others, ostensibly safety-aligned LLM agents still voluntarily engage in secret collusion whenever doing so confers a strategic advantage. To investigate this phenomenon, we introduce an empirical framework built on two strategic multi-agent environments: Liar's Bar, a competitive deception scenario, and Cleanup, a mixed-motive resource-management scenario, in which agents are offered secret collusion tools that provide significant advantages while clearly disadvantaging the other agents. Across 12 models (at the 7B, 70B, and proprietary scales) and 6 prompt variants, we find that most agents consistently accept these tools and develop collusive strategies, while explicitly acknowledging the unfairness of the tools before accepting. We further show that neither the unfairness labels nor baseline alignment alone reliably deters collusion: only explicit ethical framing reduces adoption and, even then, smaller models remain susceptible. More broadly, our work presents the first systematic investigation of voluntary collusion adoption in LLM-based multi-agent systems, and suggests that preventing such behaviour requires explicit safeguards rather than reliance on general alignment.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.27593v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10942v2cs.AI공통 태그 Decision Making, llm agents

StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경

StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents

강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.

arXiv:2610.13455v1cs.AI공통 태그 Decision Making, llm agents

에이전틱 대규모 언어 모델

Agentic Large Language Models

대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.

arXiv:2609.23997v2cs.RO공통 태그 Decision Making, Multi-agent Reinforcement Learning

RoboTalk: 다중 모달 시연으로부터 다중 로봇 통신 및 조율 학습하기

RoboTalk: Learning Multi-Robot Communication and Coordination from Multimodal Demonstrations

다중 로봇 협업은 복잡한 로봇 작업에 대해 더욱 효율적이고 확장 가능한 해결책을 가능하게 할 수 있지만, 부분 관측 가능성(partial observability) 하에서의 협업은 여전히 도전 과제로 남아 있습니다. 자연어 통신은 부분 관측 가능성 하에서 로봇들을 조율하기 위한 유망한 접근 방식을 제공합니다. 그러나 탈중앙화된 조작(decentralized manipulation)에서, 온디바이스 배포를 목표로 하는 소형 비전-언어 모델(VLM)이 다중 모달(multimodal) 시연으로부터 명시적인 로봇 간 통신과 스킬 수준의 행동 선택을 공동으로 학습하는 것은 아직 충분히 연구되지 않았습니다. 이러한 공백을 해결하기 위해, 소형 VLM이 통신하고 조율하도록 학습(training)시키기 위한 53개의 모바일 조작 주방 작업에 걸친 7,950개의 다중 모달 궤적으로 구성된 합성 데이터 생성 파이프라인 및 데이터셋인 RoboTalk을 소개합니다. 이 데이터셋에는 리더-팔로워 계획 프로토콜, 도구 호출(인식, 조작, 내비게이션, 통신), 추론 과정(rationale traces), 그리고 다양화된 자연어 통신이 포함되어 있습니다. 오픈소스 모델을 본 데이터셋으로 미세조정(fine-tuning)하면 새로운 미공개(held-out) 작업에서 77%의 성공률에 도달할 수 있으며, 이는 약 ~2%의 성공률을 보였던 미세조정되지 않은 기존 오픈소스 모델 대비 대폭 향상된 결과입니다.

arXiv:2609.34565v2cs.AI공통 태그 Decision Making, llm agents

FlowState: 장기 작업 대규모 언어 모델(LLM) 에이전트를 위한 메모리로서의 실행 상태

FlowState: Execution State as Memory for Long-Horizon LLM Agents

장기 작업(long-horizon tasks)을 수행하려면 대규모 언어 모델(LLM) 에이전트가 이전 상호작용의 정보를 지속적으로 활용해야 합니다. 그러나 전체 히스토리를 유지하면 컨텍스트 비용이 증가하는 반면, 이를 압축하면 나중에 필요한 세부 정보를 잃을 위험이 있으며, 과거 정보의 관련성은 작업이 진행됨에 따라 분명해지는 경우가 많습니다. 이러한 문제를 해결하기 위해, 요청 전반에 걸쳐 유지 및 재방문할 수 있는 메모리로 실행 상태를 다루어 현재의 의사결정과 과거 정보의 재사용을 통합하는 FlowState를 제안합니다. FlowState는 의미론적 유형이 지정된 상태 노드, 이들의 관계, 원시 도구 관측치에 대한 참조를 보존하여 지속적인 유지와 온디맨드 접근을 분리합니다. 단일 실행 루프 내에서 증분 상태 업데이트(ISU)는 새로운 입력과 피드백을 기반으로 현재 상태를 유지하고, 점진적 상태 접근(PSA)은 추론 중에 필요에 따라 과거 상태와 뒷받침하는 근거를 점진적으로 드러냅니다. 이러한 메커니즘은 에이전트가 새로운 정보에 비추어 이전 결정을 재평가하고 후속 조치를 안내할 수 있도록 지원합니다. 동일한 DeepSeek-V4-Flash 모델을 사용하는 전체 컨텍스트 기준선과 비교했을 때, FlowState는 MemoryArena의 평균 성공률과 $τ^3$-Bench의 평균 통과율을 각각 4.55%p 및 13.95%p 향상시키는 동시에 전체 토큰 소비량을 43.2% 및 40.6% 줄였습니다. 이러한 결과는 장기 작업에서 FlowState의 성능 및 효율성 이점을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.