다중 에이전트 해석 가능성을 통한 다중 에이전트 담합 탐지
Detecting Multi-Agent Collusion Through Multi-Agent Interpretability
대규모 언어 모델(LLM) 에이전트가 다중 에이전트 시스템에 점점 더 많이 배포됨에 따라, 표준적인 형태의 인간 감독을 회피할 수 있는 은밀한 공모 위험이 대두되고 있습니다. 모델 활성화에 대한 선형 프로브(linear probe)는 단일 에이전트 환경에서 기만을 탐지하는 데 유망함을 보여주었으나, 담합은 본질적으로 다중 에이전트 현상이며 에이전트 간의 담합을 탐지하기 위해 내부 표현을 사용하는 방안은 아직 연구되지 않았습니다. 본 연구에서는 환경 분포 변화(distribution shift) 하에서 담합 탐지를 평가하기 위한 벤치마크인 NARCBench를 소개하고, 에이전트별 기만 점수를 집계하여 그룹 수준에서 시나리오를 분류하는 다섯 가지 프로빙 기법을 제안합니다. 이는 네 가지 오픈 가중치 모델(Qwen3-32B, Llama-3.1-70B, DeepSeek-R1 32B, GPT-OSS-20B)과 여섯 가지 프로브 아키텍처 전반에서 평가되었습니다. 우리는 이를 분산 이상치 탐지(distributed anomaly detection) 문제로 구성하여, 서로 다른 이상 유형 및 탐지 패러다임과 대응되는 세 가지 담합 시그니처를 식별합니다. 모든 모델은 분포 내(in-distribution)에서 1.00 AUROC에 도달하며, 가장 강력한 모델(Llama-3.1-70B)의 경우 우리의 다섯 가지 프로빙 기법은 구조적으로 다른 다중 에이전트 시나리오로 제로샷 전이되었을 때 0.73~0.93 AUROC를 달성하고, 스테가노그래피 블랙잭 카드 카운팅 태스크에서는 0.99~1.00 AUROC를 달성하며 모델 성능에 따라 탐지 성능이 스케일링됨을 확인했습니다. 우리는 서로 다른 이상 유형에는 서로 다른 탐지 패러다임이 필요하다는 프레임워크의 예측과 일치하게, 모든 담합 유형에 걸쳐 독점적으로 우수한 단일 프로빙 기법은 없음을 발견했습니다. 본 연구는 탐지를 위해 에이전트 전반의 신호를 집계해야 하는 다중 에이전트 맥락으로 화이트박스 검사를 단일 모델에서 확장함으로써 다중 에이전트 해석 가능성을 향한 한 걸음을 내딛습니다. 이러한 결과는 다중 에이전트 담합을 탐지하는 데 있어 모델 내부가 텍스트 수준 모니터링에 대한 상호보완적인 신호를 제공함을 시사합니다. 코드 및 데이터는 https://github.com/aaronrose227/narcbench 에서 확인할 수 있습니다.