모델 제한에 가려진 시스템의 부재: 공격적 AI 거버넌스에서의 측정과 책임
Restricting the Model, Missing the System: Measurement and Accountability in Offensive AI Governance
본 논문에서는 AI의 공격 역량(offensive capability)을 측정하는 데 사용되는 도구들이 두 가지 측면에서 한계를 지닌다는 점을 보인다. 즉, (i) 위해성(harm)을 과장하고, (ii) 모델을 둘러싼 주변 시스템에 기인하는 능력을 모델 자체의 능력으로 귀속시킨다는 점이다. 따라서 모델에 대한 접근을 제한하는 것만으로는 필요조건일 뿐 충분조건이 아니며, 정책 및 조달 과정에서도 시스템 수준의 위해성 기반 역량 평가가 필요하다고 주장한다. 2026년 6월, 코드베이스를 읽고 결함을 수정하도록 요구하는 탈옥(jailbreak)이 발단이 되어 두 개의 프론티어 모델이 미국 수출 통제에 따라 정지된 바 있다. 그러나 이 결과는 모델, 프롬프트(prompt), 태스크로 구성된 유도 시스템(elicitation system)을 측정한 것이었다. 우리는 경량 대규모 언어 모델(LLM) 에이전트들이 공유 메모리와 진화적 최적화(evolutionary optimization)를 통해 협업하는 오픈소스 프레임워크 연구를 바탕으로 두 가지 근거를 제시하여 주장을 뒷받침한다. 첫째, 탈옥 지표는 위해성을 과장한다. 타깃당 225개 이상의 군집 생성 공격에서 LLM 판정관(LLM-as-judge) 점수는 Claude Sonnet 4가 40%의 공격에서 침해당했다고 평가했으나, 수동 검증 결과 실제 실행 가능한 유해 콘텐츠는 전혀 발견되지 않았으며 GPT-4o의 유효 위해율(Effective Harm Rate)은 45.8%였다. 둘째, 스캐폴딩(scaffolded) 평가는 역량을 잘못 귀속시킨다. 취약점이 심어진 타깃에서 1.2B(12억) 매개변수(parameter) 모델 기반의 전체 파이프라인은 9개 취약점 중 9개를 모두 복원한 반면, 수작업으로 구축된 구성 요소가 없는 동일 모델은 충돌 검증(crash verification) 기준 0/9개, 인용된 소스 라인 기준 2/9개 복원에 그쳤다. 공격 역량은 모델, 스캐폴드, 평가 프로토콜이 결합되어 나타나는 특성이다. 따라서 이를 평가할 책임은 시스템을 제어하고, 시스템의 동작을 형성하며, 그 동작을 예측할 수 있는 주체에게 있어야 한다. 본 연구 환경에서는 모델을 둘러싼 하네스(harness)를 구축하는 주체가 이에 해당하지만, 현재의 규제는 이러한 역할을 명확히 포괄하지 못하고 있다.