You Can't Escape Your Activations : Evaluation Awareness and Multi-Agent Monitoring
한국어 초록
LLM 에이전트는 다중 에이전트 시스템에 점점 더 배치되며, 그 환경에서는 행동을 무해하게 보이게 하면서도 공모할 수 있다. 이러한 공모를 탐지하도록 설계된 출력 모니터는 난독화와 스테가노그래피(steganography)에 속을 수 있어, 내부 활성화(activation)로 학습된 프로브(probe) 사용이 동기가 된다. 그러나 이러한 프로브는 보통 자신이 감시당하고 있다는 사실을 모르는 에이전트에 대해 평가된다. 본 연구는 에이전트에게 내부 활성화가 모니터링되고 있음을 명시적으로 알려줄 때, 또한 모니터로부터 추가 피드백을 받을 때 활성화 기반 탐지가 어떻게 달라지는지 조사한다. 모델, 프로브, 임계값은 고정하고 에이전트에게 알려주는 내용만 바꾼다: 아무것도 알려주지 않음(기준선), 활성화 모니터가 존재함(인지, aware), 또는 모니터 존재와 함께 이전 라운드 점수(피드백, feedback). 4인 블랙잭 게임과 2인 Simmons 죄수 게임 두 가지를 Qwen3-32B-AWQ와 GPT-OSS-20B로 동종 및 혼합 페어링에서 시험한다. 에이전트에게 모니터를 알려준다고 해서 그들이 숨지는 것은 아니다. 최상의 프로브는 세 조건 모두에서 정확성을 유지하며, 에이전트는 계속 공모한다.
원문 초록
LLM agents are increasingly deployed in multi-agent systems, where they can collude while keeping their actions benign. Output monitors designed to detect such collusions can be fooled by obfuscation and steganography, motivating the use of probes trained on internal activations. However, these probes are usually evaluated on agents that do not know they are being watched. We study how activation-based detection changes when agents are explicitly informed that their internal activations are being monitored, and when they additionally receive feedback from the monitor. We keep the models, probes, and thresholds fixed and change only what the agents are told: nothing (baseline), that an activation monitor is present (aware), or that a monitor is present together with the previous round's score (feedback). We test two games, a four-agent blackjack game and a two-agent Simmons prisoners game, using Qwen3-32B-AWQ and GPT-OSS-20B in homogeneous and mixed pairings. Telling agents about the monitor does not hide them. The best probes stay accurate in all three conditions, and the agents keep colluding.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.03035v2제출 시각 미확인
- arXiv:2609.03035v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.