Colosseum: 협력적 다중 에이전트 시스템에서의 담합 감사
Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems
한국어 초록
LLM 에이전트가 자유 형식 언어로 소통하는 다중 에이전트 시스템은 복잡한 협력 과제를 해결하기 위한 정교한 조율을 가능하게 한다. 이는 에이전트 집단이 연합을 형성하여 담합함으로써 부차적 목표를 추구하고 공동 목표를 저해할 때 고유한 안전 문제를 야기한다. 본 논문에서는 다중 에이전트 환경에서 LLM 에이전트의 담합 행동을 감사하기 위한 프레임워크인 Colosseum을 제시한다. 우리는 형식적인 다중 에이전트 의사결정 프레임워크를 통해 에이전트의 협력 방식을 정립하고, 협력 최적 대비 후회(regret)를 통해 행동에서의 행동 기반 담합 행동을 측정하며 이를 통신 기반 담합 행동과 비교한다. Colosseum은 양성 설정, 다양한 연합 목표, 설득 전술, 네트워크 토폴로지 하에서 LLM 에이전트의 담합 여부를 감사할 수 있게 한다. 이어서 에이전트 간에 비밀 통신 채널을 만들어 새로운 행동 프로브를 도입하고, 대부분의 기성 모델이 이 프로브 하에서 담합 성향을 보임을 확인하며 이를 창발적 담합이라 부른다. 나아가 에이전트가 텍스트로는 담합을 계획하지만 실제로는 비담합적 행동을 선택하는 경우가 많은 '서류상 담합'을 발견하였다. Colosseum은 협력적 다중 에이전트 시스템에서 담합을 감사하는 새로운 방법을 제공하는 동시에, 담합이 어떻게 출현하는지, 무엇이 담합의 효능에 영향을 미치는지, 어떤 전략이 이를 완화할 수 있는지에 대한 관찰을 제시한다.
원문 초록
Multi-agent systems, where LLM agents communicate through free-form language, enable sophisticated coordination for solving complex cooperative tasks. This surfaces a unique safety problem when a group of agents forms a coalition and colludes to pursue secondary goals and degrade the joint objective. In this paper, we present Colosseum, a framework for auditing LLM agents' collusive behavior in multi-agent settings. We ground how agents cooperate through a formal multi-agent decision-making framework and measure action-based collusive behavior in actions via regret relative to the cooperative optimum and compare it with communication-based collusive behavior. Colosseum enables audits of LLM agents for collusion under benign settings, different coalition objectives, persuasion tactics, and network topologies. We then introduce a new behavioral probe by creating secret communication channels between agents, showing that most out-of-the-box models exhibit a propensity to collude under this probe, which we term emergent collusion. Furthermore, we discover ``collusion on paper'' when agents plan to collude in text but often pick non-collusive actions. Colosseum provides a new way to audit collusion in cooperative multi-agent systems while presenting observations about how collusion emerges, what affects collusion efficacy, and which strategies may mitigate it.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.15198v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.