AI는 점점 더 큰 자율성과 능력을 갖춘 채 배포되고 있어, 정렬되지 않은 AI가 재앙적 피해를 일으킬 수 있는 위험이 커지고 있다. 비신뢰 모니터링(untrusted monitoring)—신뢰할 수 없는 하나의 모델로 다른 모델을 감독하는 방식—은 위험을 줄이는 접근법 중 하나이다. 비신뢰 모니터링 배포의 안전성을 정당화하기는 어렵다. 개발자는 프로토콜을 직접 검증하기 위해 정렬되지 않은 모델을 안전하게 배포할 수 없기 때문이다. 본 논문에서는 배포 전 테스트에 기반하여 안전성을 엄밀하게 입증하는 기존 방법을 발전시킨다. 정렬되지 않은 AI가 비신뢰 모니터링을 무력화하기 위해 쓸 수 있는 공모(collusion) 전략에 대해 이전 AI 통제(control) 연구가 두었던 가정을 완화한다. 수동적 자기 인식(passive self-recognition), 인과적 공모(causal collusion, 사전 공유 신호 은폐), 비인과적 공모(acausal collusion, 셸링점(Schelling point)을 통한 신호 은폐), 결합 전략을 아우르는 분류체계를 제안한다. 논증을 분명히 제시하고 가정을 명시하며 미해결 과제를 강조하기 위해 안전성 논증 스케치(safety case sketch)를 작성한다. 수동적 자기 인식이 이전에 연구된 전략보다 더 효과적인 공모 전략이 될 수 있는 조건을 밝힌다. 본 연구는 비신뢰 모니터링에 대한 더 견고한 평가를 향한 기반을 마련한다.
자율적으로 코드를 반복 배포하는 AI 코딩 에이전트의 지속 상태(persistent state) 환경에서 공격자가 여러 PR에 걸쳐 악성 행동을 분산시키는 "점진적 공격(gradual attack)" 전략을 분석하는 Iterative VibeCoding 벤치마크를 제안하며, 단일 모니터로는 점진적·비점진적 공격 모두를 막을 수 없음을 보인다. 상태 추적 링크-트래커(link-tracker) 모니터와 4개 모니터 앙상블을 결합하면 점진적 공격 회피율을 93%에서 47%로 낮출 수 있으나, 최첨단 모니터 모델을 사용해도 여전히 높은 회피율이 유지됨을 확인했다.
공격 시점을 전략적으로 선택하는 공격자는 무차별적으로 공격하는 공격자보다 훨씬 탐지하기 어렵다. AI 제어(AI control)는 능력 있지만 신뢰할 수 없는 AI 에이전트를, 더 약하지만 신뢰할 수 있는 모니터와 제한된 인간 감사 예산의 감독하에 배포하기 위한 안전성 프레임워크다. 제어 평가(control evaluation)는 레드팀 공격 정책과 블루팀 모니터를 대결시켜 이러한 프로토콜을 스트레스 테스트하지만, 현재의 평가들은 일반적으로 공격자가 공격 시점을 전략적으로 선택하지 않는다고 가정한다. 우리는 에이전틱(agentic) 환경에서 이 능력인 공격 선택(attack selection)을, 공격자가 언제 공격을 개시할지 결정하는 시작 정책(start policy)과 진행 중인 공격을 언제 중단할지 결정하는 중단 정책(stop policy)으로 분해하여 연구한다. BashArena와 LinuxArena 두 가지 에이전틱 환경에서, 두 정책 모두 기저 공격 능력을 변경하지 않고도 측정된 실증적 안전성을 상당히 저하시킨다. 1% 감사 예산에서 시작 정책은 BashArena와 LinuxArena 모두에서 안전성을 20pp 감소시키고, 중단 정책은 BashArena에서 20pp, LinuxArena에서 28pp 감소시킨다. 이러한 감소는 공격 선택 효과의 상한으로 해석되어야 한다. 따라서 기존의 제어 평가들은 선택적 공격자에 대해 지나치게 낙관적인 안전성 추정치를 산출할 수 있다. 우리는 향후 평가, 시스템 카드, 안전성 사례들이 보다 현실적인 안전성 추정치를 도출하기 위해 공격 선택을 유도할 것을 권고한다.