언제 비신뢰 모니터링을 신뢰할 수 있는가? 공모 전략 전반에 대한 안전성 논증 스케치
When can we trust untrusted monitoring? A safety case sketch across collusion strategies
한국어 초록
AI는 점점 더 큰 자율성과 능력을 갖춘 채 배포되고 있어, 정렬되지 않은 AI가 재앙적 피해를 일으킬 수 있는 위험이 커지고 있다. 비신뢰 모니터링(untrusted monitoring)—신뢰할 수 없는 하나의 모델로 다른 모델을 감독하는 방식—은 위험을 줄이는 접근법 중 하나이다. 비신뢰 모니터링 배포의 안전성을 정당화하기는 어렵다. 개발자는 프로토콜을 직접 검증하기 위해 정렬되지 않은 모델을 안전하게 배포할 수 없기 때문이다. 본 논문에서는 배포 전 테스트에 기반하여 안전성을 엄밀하게 입증하는 기존 방법을 발전시킨다. 정렬되지 않은 AI가 비신뢰 모니터링을 무력화하기 위해 쓸 수 있는 공모(collusion) 전략에 대해 이전 AI 통제(control) 연구가 두었던 가정을 완화한다. 수동적 자기 인식(passive self-recognition), 인과적 공모(causal collusion, 사전 공유 신호 은폐), 비인과적 공모(acausal collusion, 셸링점(Schelling point)을 통한 신호 은폐), 결합 전략을 아우르는 분류체계를 제안한다. 논증을 분명히 제시하고 가정을 명시하며 미해결 과제를 강조하기 위해 안전성 논증 스케치(safety case sketch)를 작성한다. 수동적 자기 인식이 이전에 연구된 전략보다 더 효과적인 공모 전략이 될 수 있는 조건을 밝힌다. 본 연구는 비신뢰 모니터링에 대한 더 견고한 평가를 향한 기반을 마련한다.
원문 초록
AIs are increasingly being deployed with greater autonomy and capabilities, which increases the risk that a misaligned AI may be able to cause catastrophic harm. Untrusted monitoring -- using one untrusted model to oversee another -- is one approach to reducing risk. Justifying the safety of an untrusted monitoring deployment is challenging because developers cannot safely deploy a misaligned model to test their protocol directly. In this paper, we develop upon existing methods for rigorously demonstrating safety based on pre-deployment testing. We relax assumptions that previous AI control research made about the collusion strategies a misaligned AI might use to subvert untrusted monitoring. We develop a taxonomy covering passive self-recognition, causal collusion (hiding pre-shared signals), acausal collusion (hiding signals via Schelling points), and combined strategies. We create a safety case sketch to clearly present our argument, explicitly state our assumptions, and highlight unsolved challenges. We identify conditions under which passive self-recognition could be a more effective collusion strategy than those studied previously. Our work builds towards more robust evaluations of untrusted monitoring.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2602.20628v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전틱 AI 제어 평가에서 공격 선택이 안전성을 유의미하게 저하시킨다
Attack Selection in Agentic AI Control Evaluations Meaningfully Decreases Safety
공격 시점을 전략적으로 선택하는 공격자는 무차별적으로 공격하는 공격자보다 훨씬 탐지하기 어렵다. AI 제어(AI control)는 능력 있지만 신뢰할 수 없는 AI 에이전트를, 더 약하지만 신뢰할 수 있는 모니터와 제한된 인간 감사 예산의 감독하에 배포하기 위한 안전성 프레임워크다. 제어 평가(control evaluation)는 레드팀 공격 정책과 블루팀 모니터를 대결시켜 이러한 프로토콜을 스트레스 테스트하지만, 현재의 평가들은 일반적으로 공격자가 공격 시점을 전략적으로 선택하지 않는다고 가정한다. 우리는 에이전틱(agentic) 환경에서 이 능력인 공격 선택(attack selection)을, 공격자가 언제 공격을 개시할지 결정하는 시작 정책(start policy)과 진행 중인 공격을 언제 중단할지 결정하는 중단 정책(stop policy)으로 분해하여 연구한다. BashArena와 LinuxArena 두 가지 에이전틱 환경에서, 두 정책 모두 기저 공격 능력을 변경하지 않고도 측정된 실증적 안전성을 상당히 저하시킨다. 1% 감사 예산에서 시작 정책은 BashArena와 LinuxArena 모두에서 안전성을 20pp 감소시키고, 중단 정책은 BashArena에서 20pp, LinuxArena에서 28pp 감소시킨다. 이러한 감소는 공격 선택 효과의 상한으로 해석되어야 한다. 따라서 기존의 제어 평가들은 선택적 공격자에 대해 지나치게 낙관적인 안전성 추정치를 산출할 수 있다. 우리는 향후 평가, 시스템 카드, 안전성 사례들이 보다 현실적인 안전성 추정치를 도출하기 위해 공격 선택을 유도할 것을 권고한다.
에이전트를 활용한 화학 과학 분야 AI 위험 통제
Controlling risks of AI in chemical science with agents
인공지능은 과학적 발견을 빠르게 진전시키고 있지만, 이러한 발전은 유해 물질 생성이나 기존 규제 우회와 같은 남용 위험을 수반한다. 본 논문에서는 화학 과학 분야에서 AI 남용의 실제 사례를 강조하여 위험을 먼저 입증하고, 이는 해당 AI 모델에 대한 효과적인 안전성 정렬(alignment)의 필요성을 부각한다. 이에 대응하여, 과학 AI 상호작용에서 위험을 평가하고 통제하기 위해 대규모 언어 모델, 도구 및 외부 지식을 활용하는 에이전트 기반 가드레일인 SciGuard를 제안한다. 공정한 비교를 위해, 서로 다른 AI 시스템의 안전성과 유용성을 모두 평가하는 벤치마크 SciMT(Scientific Multi-Task)를 도입한다. SciGuard는 레드팀 테스팅(red-teaming) 쿼리에서 최첨단 무해성 점수를 달성하면서, 과학 지식을 희생하지 않고 무해한 작업에서 높은 성능을 유지한다. 마지막으로, 과학 분야에서 AI의 안전한 배포를 보장하기 위한 지속적인 연구와 대화를 촉구한다.
AGI에서 ASI로
From AGI to ASI
SCARCE: Scalable Cascade Analysis for Rare-event Characterisation via Embeddings
Beyond the Prompt: Jailbreaking Function-Calling LLMs via Simulated Moderation Traces
Towards Trustworthy Physical Intelligence: From Theory to Practice Across Life Cycle
토론
이 논문과 연결된 포럼 글이 아직 없습니다.