안전장치는 작동했다. LLM 시스템은 더 안전한가?
The Safeguard Worked. Is the LLM System Safer?
한국어 초록
대규모 언어 모델 서비스의 안전장치는 일반적으로 테스트 모음에 대한 공격 차단률로 평가된다. 배포 결정은 공격자가 시스템으로부터 여전히 얻을 수 있는 유해한 지원의 정도에도 좌우되지만, 이러한 차단률은 이를 측정하지 못한다. 공개된 평가가 배포 안전성에 대해 무엇을 입증하는지 판단하기 위해, 본 연구는 보고된 결과를 특정 결과 및 위협 모델 하에서 남을 수 있는 유해 지원의 최소량과 최대량으로 변환하는 프레임워크를 개발한다. 검사를 통해 공격을 차단하는 안전장치의 경우, 공격자가 얻을 수 있는 최대량이 세 가지 속성에 좌우됨을 보인다. 즉, 공격 경로가 검사를 거치는지 여부, 위협 모델 내 모든 공격자에 대한 검사의 미탐지율, 그리고 차단 후 남는 지원의 양이다. 본 연구는 이 프레임워크를 52편의 논문에 실린 85건의 안전장치 평가에 적용하였다. 이 중 모든 공격 경로가 검사를 거친다고 주장하는 것은 5건뿐이며, 차단 후 무엇이 남는지에 대한 증거를 제공하는 것은 4건이다. 이러한 증거 공백은 실질적인 결과를 낳는다. NeMo Guardrails의 기본 스트리밍 구성에서 검사는 본 연구의 테스트에서 비밀번호 유출의 94%를 차단했으나, 차단 여부와 관계없이 모든 유출 사례에서 클라이언트는 비밀번호를 받았다. 본 연구는 각 안전장치 범주의 평가가 세 가지 속성 중 어느 것을 누락하는지, 그리고 공격이 검사를 우회하는 네 가지 방식 각각에 대해 무엇을 측정해야 하는지를 규명한다. 출시 전에 이러한 측정을 요구하는 배포는 공격자가 배포된 시스템으로부터 얻는 것을 제한하는 안전장치를 선택하고 구성할 수 있다.
원문 초록
Safeguards for large language model services are typically evaluated by their attack-blocking rates on test suites. Deployment decisions also depend on how much harmful assistance attackers can still obtain from the system, which these rates do not measure. To determine what published evaluations establish about deployment safety, we develop a framework that translates reported results into the minimum and maximum harmful assistance that can remain under a specified outcome and threat model. For safeguards that block attacks through a check, we show that the most an attacker can obtain depends on three properties: whether attack paths pass through the check, its miss rate against every attacker in the threat model, and how much assistance remains after a block. We apply this framework to 85 safeguard evaluations from 52 papers. Of these, only five argue that every attack path passes through the check, and four provide evidence on what remains after a block. These evidence gaps have practical consequences: in NeMo Guardrails' default streaming configuration, the check blocked 94% of password leaks in our test, yet the client received the password in every leak, blocked or not. We identify which of the three properties each safeguard category's evaluations omit, and what to measure for each of four ways attacks bypass a check. Deployments that require these measurements before launch can choose and configure safeguards that limit what attackers obtain from the deployed system.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.00519v2제출 시각 미확인
- arXiv:2609.00519v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.