arXiv:2604.01151v3 cs.AI

다중 에이전트 해석 가능성을 통한 다중 에이전트 담합 탐지

Detecting Multi-Agent Collusion Through Multi-Agent Interpretability

Aaron Rose, Carissa Cullen, Sahar Abdelnabi, Philip Torr, Brandon Gary Kaplowitz, Christian Schroeder de Witt

제출 2026-04-01

한국어 초록

대규모 언어 모델(LLM) 에이전트가 다중 에이전트 시스템에 점점 더 많이 배포됨에 따라, 표준적인 형태의 인간 감독을 회피할 수 있는 은밀한 공모 위험이 대두되고 있습니다. 모델 활성화에 대한 선형 프로브(linear probe)는 단일 에이전트 환경에서 기만을 탐지하는 데 유망함을 보여주었으나, 담합은 본질적으로 다중 에이전트 현상이며 에이전트 간의 담합을 탐지하기 위해 내부 표현을 사용하는 방안은 아직 연구되지 않았습니다. 본 연구에서는 환경 분포 변화(distribution shift) 하에서 담합 탐지를 평가하기 위한 벤치마크인 NARCBench를 소개하고, 에이전트별 기만 점수를 집계하여 그룹 수준에서 시나리오를 분류하는 다섯 가지 프로빙 기법을 제안합니다. 이는 네 가지 오픈 가중치 모델(Qwen3-32B, Llama-3.1-70B, DeepSeek-R1 32B, GPT-OSS-20B)과 여섯 가지 프로브 아키텍처 전반에서 평가되었습니다. 우리는 이를 분산 이상치 탐지(distributed anomaly detection) 문제로 구성하여, 서로 다른 이상 유형 및 탐지 패러다임과 대응되는 세 가지 담합 시그니처를 식별합니다. 모든 모델은 분포 내(in-distribution)에서 1.00 AUROC에 도달하며, 가장 강력한 모델(Llama-3.1-70B)의 경우 우리의 다섯 가지 프로빙 기법은 구조적으로 다른 다중 에이전트 시나리오로 제로샷 전이되었을 때 0.73~0.93 AUROC를 달성하고, 스테가노그래피 블랙잭 카드 카운팅 태스크에서는 0.99~1.00 AUROC를 달성하며 모델 성능에 따라 탐지 성능이 스케일링됨을 확인했습니다. 우리는 서로 다른 이상 유형에는 서로 다른 탐지 패러다임이 필요하다는 프레임워크의 예측과 일치하게, 모든 담합 유형에 걸쳐 독점적으로 우수한 단일 프로빙 기법은 없음을 발견했습니다. 본 연구는 탐지를 위해 에이전트 전반의 신호를 집계해야 하는 다중 에이전트 맥락으로 화이트박스 검사를 단일 모델에서 확장함으로써 다중 에이전트 해석 가능성을 향한 한 걸음을 내딛습니다. 이러한 결과는 다중 에이전트 담합을 탐지하는 데 있어 모델 내부가 텍스트 수준 모니터링에 대한 상호보완적인 신호를 제공함을 시사합니다. 코드 및 데이터는 https://github.com/aaronrose227/narcbench 에서 확인할 수 있습니다.

원문 초록

As LLM agents are increasingly deployed in multi-agent systems, they introduce risks of covert coordination that may evade standard forms of human oversight. While linear probes on model activations have shown promise for detecting deception in single-agent settings, collusion is inherently a multi-agent phenomenon, and the use of internal representations for detecting collusion between agents remains unexplored. We introduce NARCBench, a benchmark for evaluating collusion detection under environment distribution shift, and propose five probing techniques that aggregate per-agent deception scores to classify scenarios at the group level, evaluated across four open-weight models (Qwen3-32B, Llama-3.1-70B, DeepSeek-R1 32B, GPT-OSS-20B) and six probe architectures. We frame this as a distributed anomaly detection problem, identifying three collusion signatures that map onto distinct anomaly types and detection paradigms. Every model reaches 1.00 AUROC in-distribution; on our strongest model (Llama-3.1-70B), our five probing techniques achieve 0.73 to 0.93 AUROC when transferred zero-shot to structurally different multi-agent scenarios and 0.99 to 1.00 on a steganographic blackjack card-counting task, with detection performance scaling with model capability. We find that no single probing technique dominates across all collusion types, consistent with the framework's prediction that different anomaly types require different detection paradigms. This work takes a step toward multi-agent interpretability: extending white-box inspection from single models to multi-agent contexts, where detection requires aggregating signals across agents. These results suggest that model internals provide a complementary signal to text-level monitoring for detecting multi-agent collusion. Code and data available at https://github.com/aaronrose227/narcbench.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.01151v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13075v1cs.CR공통 태그 Anomaly Detection, activation probing

얽힘 벽: 활성화 공간 프로브는 문맥 판정기가 아닌 위험 탐지기

The Entanglement Wall: Activation-Space Probes as Risk Detectors, Not Context Adjudicators

문맥은 주제나 표면 형태를 바꾸지 않으면서도 요청이 해로운지 여부를 바꿀 수 있다. 우리는 잔차 스트림(residual-stream) 프로브가 유용한 운영 지점에서 해로운 요청을 표면적으로 일치하는 양성(benign) 대조군과 구별할 수 있는지 조사한다. 세 가지 7-8B 모델 계열 전반에서, 활성화 센서는 분류체계로 선정된 집합에서 판정기(judge)가 분류한 준수(compliant) 공격의 95.5-97.7%를 차단한다. 또한 XSTest 프롬프트의 59.6-68.4%를 차단한다. 완전히 분리된 감사(audit)는 거의 상한에 가까운 소스 대비(source-contrast) AUROC(0.996-0.999)를 재현하지만, 고정 전이(transfer)를 일치 쌍(matched pairs)에 적용하면 성능이 더 약하다: guard가 선정한 Twin-n70 부분집합에서 0.656-0.819, 전체 Twin-n163 코호트에서 0.590-0.690이다. 우리는 기준(reference) 계열에서 10개 축, 모든 계열 전반에서 7개 축을 누출(leakage), 홀드아웃(hold-out), 순열(permutation) 통제와 함께 테스트한다. Twin-n163에서, 직접적인 쌍 경계(pair-boundary) 적합(fitting) 없이 평가된 어떤 축도 지정된 수치 임계값에 도달하지 못한다. 해당 전체 코호트에 대한 지속성(persistence) 요구 조건은 분석 시점에 추가되었다. 별도로 명시된 24B/32B 확장 실험에서도 동일한 결과를 얻는다. 쌍으로 학습된 분류기는 범주(category) 및 생성 배치 홀드아웃 하에서 성능이 약화되며, 코퍼스 내 TPR 95%에서 XSTest의 79.6-100%를 오차 차단(false-block)한다. 테스트된 판독(read) 지점에서, 이 활성화 점수들은 독립적인 문맥 판정기라기보다 광범위 위험 탐지기로 동작한다.

arXiv:2610.15818v1cs.LG공통 태그 Anomaly Detection

실제 클라우드 텔레메트리 환경에서의 이상 탐지를 위한 심층 학습 모델 벤치마킹

Benchmarking Deep Learning Models for Anomaly Detection in Real-World Cloud Telemetry

현대 클라우드 플랫폼은 수천 개의 마이크로서비스로부터 고차원적이고 노이즈가 많은 텔레메트리를 생성한다. 기존의 고전적인 이상 탐지 벤치마크와 달리, 클라우드 이상(anomaly)은 지속 시간이 짧고 불규칙하며 대체로 비주기적이어서 시기적절한 탐지가 어렵다. 우리는 실제 IBM Cloud Console 데이터셋을 사용하여 이상 탐지를 위한 심층 학습 모델들에 대한 경험적 벤치마크를 제시한다. 우리는 조기 탐지와 오탐(false alarm)을 고려하는 시간 인식 지표인 Numenta Anomaly Benchmark(NAB)를 사용하여 GRU, 트랜스포머, TimesNet, Autoformer 아키텍처를 평가한다. TimesNet은 강력한 조기 탐지 민감도로 인해 가장 높은 NAB 점수를 달성한다. 트랜스포머 모델 또한 이상을 조기에 탐지하지만 더 높은 거짓 양성률(false-positive rate)을 보인다. 강건한 점수화(scoring)와 지속성 규칙(persistence rules)을 결합한 개선된 GRU 오토인코더(autoencoder)는 더 안정적인 오탐 프로파일과 함께 경쟁력 있는 성능을 달성한다. 전반적으로, 성능 차이가 크지 않다는 점은 실제 클라우드 이상이 지속적인 주기적 구조보다는 단기적 편차(deviation)에 의해 좌우된다는 것을 시사하며, 이는 시간 인식 평가와 강건한 후처리(post-processing)의 중요성을 강조한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.