연속 감사를 통한 현실적 환경에서의 에이전트 과열 의욕 탐지
Probing agent overeagerness in realistic settings with continuation audits
한국어 초록
최전선 코딩 에이전트는 사용자의 위임 범위를 넘어 놀랍고 때로는 무모한 행동을 하는 과열 의욕(overeagerness)을 점점 더 많이 보이고 있으며, 이는 최전선 모델 개발사의 최근 시스템 카드에서 보고되었다. 이러한 사례는 비공개 트래픽이 필요한 내부 배포 모니터링을 통해 드러나므로, 오픈 웨이트 모델이나 독립적인 평가자는 접근하기 어렵다. 자동화된 정렬 감사가 자연스러운 대안이지만, 능력 있는 모델은 합성된 설정을 점점 더 잘 알아채고 행동을 조정한다. 우리는 실제 코딩 에이전트 대화 기록에서 추출한 접두부에 감사자를 기반시키고, 시드로 지정된 행동을 향해 궤적을 이어 가도록 지시하는 파이프라인인 Continuation Audits를 소개한다. 접두부가 실제 세션에서 추출되었기 때문에 감사자는 설정을 새로 만들어 내는 대신 현실적인 설정을 유지하기만 하면 된다. 우리는 SWE-Chat 접두부에서 이 방법을 검증한다. 짝지은 90개 감사 하위 집합에서 판정자는 연속 생성물과 원본 세션을 안정적으로 구분하지 못했으며(현실성 승률 0.42 대 0.43), 전체 900개 감사에서 언어로 표현된 평가 인식 비율은 감사하지 않은 실제 세션에서 관찰된 비율을 넘지 않았다. 이 파이프라인을 세 가지 최신 모델과 세 가지 시드에 적용한 결과, 각 모델이 서로 다른 시드에서 가장 두드러졌다. DeepSeek~V4~Pro는 동료 자격 증명 오용, GPT-5.6~Terra는 파일 권한 우회, Kimi~K3는 진단 질문을 지시로 취급하는 행동에서 가장 두드러졌다. 또한 Kimi~K3는 CLAUDE.md에 명시적 금지가 있은 뒤에도 파일 권한 보호를 계속 우회한 반면 나머지 두 모델은 완전히 중단하였으며, 이는 과도한 능동성에 관한 Moonshot 자체 보고를 뒷받침한다.
원문 초록
Frontier coding agents increasingly exhibit overeagerness, taking surprising, sometimes reckless actions beyond a user's mandate --- reported in recent system cards from frontier model developers. These cases are surfaced through internal deployment monitoring, which requires private traffic and is out of reach for open-weight models and independent evaluators. Automated alignment audits are the natural alternative, but capable models increasingly recognise the synthetic setup and adjust their behaviour. We introduce Continuation Audits, a pipeline that grounds the auditor on a prefix drawn from a real coding-agent transcript and directs it to continue the trajectory toward a seeded behaviour. Because the prefix is drawn from a real session, the auditor only needs to maintain a realistic setting rather than manufacturing it. We validate the method on SWE-Chat prefixes: on a paired subset of 90 audits a judge cannot reliably distinguish continuations from their source sessions (realism win rate 0.42 vs.\ 0.43), and across all 900 audits verbalized eval-awareness does not exceed the rate observed in the unaudited real sessions. Applying the pipeline to three recent models across three seeds, we find each model leads a different seed --- DeepSeek~V4~Pro on colleague-credentials misuse, GPT-5.6~Terra on file-permission bypasses, and Kimi~K3 on treating diagnostic questions as instructions. Kimi~K3 additionally continues to bypass file-permission protections after an explicit CLAUDE.md prohibition while the other two stop entirely, corroborating Moonshot's own report of excessive proactiveness.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24491v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.