Just Ask: 호기심 많은 코드 에이전트가 최첨단 LLM의 시스템 프롬프트를 노출하다
Just Ask: Curious Code Agents Reveal System Prompts in Frontier LLMs
대규모 언어 모델(LLM) 기반의 자율 코드 에이전트는 도구 사용, 장기 추론, 자기 주도적 상호작용을 통해 소프트웨어 및 AI 개발을 재편하고 있다. 그러나 이러한 자율성은 이전에 인식되지 않았던 보안 위험을 도입한다: 에이전트적 상호작용은 근본적으로 LLM 공격 표면을 확장하여, 모델 행동을 유도하는 숨겨진 시스템 프롬프트에 대한 체계적 탐색과 복구를 가능하게 한다. 우리는 시스템 프롬프트 추출을 코드 에이전트에 내재된 창발적 취약점으로 식별하고, 상호작용만으로 효과적인 추출 전략을 자율적으로 발견하는 자기 진화형 프레임워크인 \textbf{\textsc{JustAsk}}를 제안한다. 이전의 프롬프트 엔지니어링 또는 데이터셋 기반 공격과 달리, \textsc{JustAsk}는 표준 사용자 상호작용을 넘어서는 수작업 프롬프트, 라벨 지도, 또는 특권적 접근을 필요로 하지 않는다. 이 방법은 추출을 온라인 탐험 문제로 공식화하고, Upper Confidence Bound 기반 전략 선택과 원자적 프로브부터 고수준 오케스트레이션에 이르는 계층적 스킬 공간을 사용한다. 이러한 스킬은 불완전한 시스템 지시 일반화와 유용성과 안전성 사이의 내재적 긴장을 악용한다. 여러 제공업체의 \textbf{41}개 블랙박스 상용 모델에서 평가한 결과, \textsc{JustAsk}는 일관되게 완전하거나 거의 완전한 시스템 프롬프트 복구를 달성하여 반복되는 설계 및 아키텍처 수준의 취약점을 드러낸다. 우리의 결과는 시스템 프롬프트가 현대 에이전트 시스템에서 중요하지만 대부분 보호되지 않은 공격 표면임을 드러낸다.