PI-Hunter: 프롬프트 인젝션 노출 및 위치 특정을 위한 자동화된 레드팀 테스팅
PI-Hunter: Automated Red-Teaming for Exposing and Localizing Prompt Injections
한국어 초록
대규모 언어 모델(LLM)은 외부 도구 및 환경과 상호작용하는 에이전트(agent) 시스템으로 빠르게 진화하고 있으며, 신뢰할 수 없는 외부 소스를 통한 간접 프롬프트 인젝션(prompt injection) 공격과 같은 새로운 보안 위험을 야기합니다. 기존 방어는 주로 추론(inference) 시점에 악성 콘텐츠를 차단하는 데 집중하고, 현재의 레드팀 테스팅(red-teaming) 방법은 주로 공격 성공률을 최적화합니다. 그 결과 개발자들은 잠재적 프롬프트 인젝션이 에이전트를 통해 어떻게 생성되고 전파되는지에 대한 가시성을 얻기 어렵습니다. 우리는 LLM 에이전트의 사전적 취약점 노출을 위한 자동화된 에이전트형 감사 프레임워크인 PI-Hunter를 제안합니다. PI-Hunter는 현실적인 소스 인식(source-aware) 테스트 케이스를 구성하고, 피드백 기반 탐색을 통해 이를 반복적으로 진화시켜 에이전트가 외부 환경에 내장된 잠재적 악성 지시를 검색하고 드러내도록 유도합니다. 다양한 벤치마크, 에이전트 아키텍처, 공격, 및 방어에 걸친 광범위한 실험을 통해 PI-Hunter가 강력한 자동화 레드팀 베이스라인 대비 취약점 노출 및 공격 표면(attack-surface) 커버리지를 상당히 개선함을 보여주며, 기존 프롬프트 인젝션 방어 하에서도 효과적임을 나타냅니다.
원문 초록
Large Language Models (LLMs) are rapidly evolving into agentic systems that interact with external tools and environments, introducing new security risks such as indirect prompt injection attacks through untrusted external sources. Existing defenses mainly focus on blocking malicious content at inference time, and current red-teaming methods primarily optimize attack success. As a result, developers have limited visibility into how latent prompt injections emerge and propagate through agents. We propose PI-Hunter, an automated agentic auditing framework for proactive vulnerability exposure in LLM agents. PI-Hunter constructs realistic source-aware test cases and iteratively evolves them through feedback-driven exploration to induce agents to retrieve and reveal latent malicious instructions embedded within external environments. Extensive experiments across multiple benchmarks, agent architectures, attacks, and defenses demonstrate that PI-Hunter substantially improves vulnerability exposure and attack-surface coverage over strong automated red-teaming baselines, while remaining effective under existing prompt injection defenses.
요약
외부 환경과 상호작용하는 LLM 에이전트(agent)의 잠재적 프롬프트 인젝션(prompt injection) 위협을 식별하기 위해, 피드백 기반 탐색을 통해 테스트 케이스를 진화시키는 자동화된 레드팀(red-teaming) 프레임워크인 PI-Hunter를 제안한다. 이 방법은 기존 방어 조치 하에서도 강력한 기준선 대비 취약점 노출 및 공격 표면 커버리지를 유의미하게 향상시킨다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12737v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가
APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces
전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.
X-AgentRed: 진화하는 다중 서비스 생태계에서 개인용 에이전트의 레드팀 테스팅
X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems
개인용 에이전트(personal agent)는 도구를 활용하여 웹과 애플리케이션 전반의 서비스와 연결되는 경우가 점점 늘어나고 있습니다. 에이전트의 행동 효과가 여러 서비스에 걸쳐 누적되고 상호작용함에 따라, 무해한 사용자 요청을 수행하는 과정에서도 의도치 않거나 유해한 결과가 발생할 수 있습니다. 이러한 복합적인 실패를 선제적으로 식별하려면 다양한 서비스 간 경로를 체계적으로 탐색해야 합니다. 기존의 레드팀 테스팅(red-teaming) 방식은 과업 및 환경 설명으로부터 잠재적으로 유해한 경로를 식별하도록 대규모 언어 모델(LLM)에 단순히 프롬프트를 제공하거나, 인간 또는 LLM이 지정한 유해 목표를 겉보기에 무해한 행동 조합으로 분해하는 방식을 주로 사용합니다. 그러나 생성 결과는 학습(training) 중에 습득한 패턴으로 편향되어 익숙한 도구 조합을 선호하고 새로운 교차 서비스 상호작용을 충분히 탐색하지 못할 가능성이 있습니다. 이를 해결하기 위해, 도구 의존성 그래프를 통해 유해한 도구 호출 경로를 발견하고 실행 피드백을 활용해 이를 확장 및 개선하는 자기 진화형 레드팀 테스팅 프레임워크인 X-AgentRed를 제안합니다. 레드팀 테스팅 에이전트는 각 도구의 효과, 잠재적 유해요소 및 실행 전제 조건을 분석하여 한 도구의 효과가 다른 도구의 실행 전제 조건을 어떻게 충족하는지 포착하는 방향성 그래프를 구축합니다. 이 그래프에서 추출된 레시피는 에이전트가 유해한 결과를 초래할 수 있는 현실적인 시나리오로 구체화됩니다. 실행 피드백은 도구 대체를 통해 유해성을 유발하는 경로를 다변화하고, 실패한 경로의 차단된 단계에서 전제 조건을 개선하여 추가 실행을 가능하게 함으로써 자기 개선을 실현합니다. 4개의 프론티어 에이전트 모델 전반에 걸쳐 X-AgentRed는 STAC 대비 1.77배의 유해 경로 발견율을 달성하고 더 다양한 도구 집합을 탐색하여 평균 2.99배의 도구 커버리지를 보였습니다.
PACE: 도구를 사용하는 LLM 에이전트를 위한 출처 인지 역량 강제
PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents
도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 생성된 텍스트를 실제 부작용(side effect)으로 전환하므로, 오염된 도구 메타데이터, 검색된 페이지, 메모리 및 재사용 가능한 스킬이 다음 도구 호출을 유도할 수 있습니다. 승인(admission) 전에 아티팩트를 검증하는 것만으로는 이 문제를 해결하지 못합니다. 안전한 변형과 유출 변형이 동일한 승인 증거를 생성할 수 있어, 건전한 게이트라도 둘 중 어느 쪽에 대해서도 해당 지점의 검사를 완화할 수 없습니다. 본 연구에서는 이러한 조건을 정밀하게 정의하여, 배포 환경에서 여전히 조치를 취할 수 있는 마지막 경계를 남깁니다. 본 논문에서는 모든 도구 호출이 실행되기 직전에 이를 중재하는 출처 인지 역량 강제(PACE, Provenance-Aware Capability Enforcement)를 제안합니다. 경로 제한(Path confinement)은 표현된 영향 경로의 실행 가능한 컷을 제안하며, 역량 및 효과 검증은 인증된 요청으로부터 컴파일된 권한과 스키마에 정의된 효과를 대조하여 확인합니다. 제안된 차단 이후 인가된 호출을 복원하거나 선언된 복구를 적용할 수 있는 평가 구성과 인증된 실행 계약을 구분합니다. 제한 메커니즘은 최종 동작이 인증된 컷을 보존하도록 요구합니다. 3개 타깃 모델 군을 사용한 8개의 실행 가능한 에이전트 보안 벤치마크에서, 평가 구성은 적격 공격 항목 79개 중 62개에서 완전히 가장 낮은 공격 성공률을 기록했고 14개에서 동률을 달성했습니다. 전체 벤치마크 고유 유용성(native utility)은 방어되지 않은 에이전트 대비 최대 3포인트만 손실되었습니다. 1,167개 쌍체 사례에 대한 완전한 어블레이션 분석 결과, 대부분의 보안 향상은 효과 검증에, 거절 제어는 경계 적응에 기인하는 것으로 나타났습니다. 축소된 규모의 적응형 탐색 결과, 방어 체계에 맞선 권한 외(out-of-authority) 타깃 30개 중 0개에서만 성공했습니다.
스킬 체이닝을 통한 LLM 에이전트 하이재킹
Chaining Skills to Hijack LLM Agents
대규모 언어 모델(LLM) 에이전트는 특화된 작업의 성능을 향상하기 위해 스킬(skill)을 활용합니다. 에이전트는 사용자의 요청을 완료하기 위해 여러 스킬을 순차적으로 호출할 수 있으며, 이로 인해 한 스킬에서 생성된 정보가 다음 스킬을 안내하게 됩니다. 스킬은 오픈소스 저장소에서 가져올 수 있으므로, 이러한 정보 전달 과정에서 공격자가 제어하는 주장이 이후의 결정으로 이어질 수도 있습니다. 본 논문에서는 사용자 작업 및 공격자가 선택한 작업에 맞춰 적대적 스킬 체인을 구축하고 정제하는 APEX를 소개합니다. 핵심 통찰은 실제 작업 진행 상황에 대해 에이전트가 작성한 기록이 여러 스킬에 걸쳐 사용자 승인에 대한 거짓 주장을 전달할 수 있다는 점입니다. 즉, 상류(upstream) 스킬이 에이전트로 하여금 해당 기록을 생성하도록 유도하고, 하류(downstream) 스킬은 이를 활용하여 공격자가 선택한 작업을 지시합니다. SkillsBench의 4가지 표적 행동군과 6개 모델에 걸쳐 평가한 결과, 이러한 체인은 690회 시도 중 512회(74.2%)에서 선택된 작업을 유도했습니다. GPT-5.4의 경우, 전체 체인은 워크플로가 단일 스킬로 병합되었을 때의 17.4%와 비교하여 84.3%의 시도에서 성공했습니다. 나아가 스킬이 생성한 파일을 원본 요청과 대조하여 확인하도록 에이전트에게 요청하는 프롬프트 기반 방어 기법을 평가했습니다. GPT-5.4에서 이 방어는 표적 행동 성공률을 84.3%에서 59.1%로 낮추었으나, 72개의 정상 네이티브 스킬 작업에 대한 검증기 테스트 통과율 또한 86.7%에서 56.3%로 떨어졌습니다. 이러한 결과는 정당한 작업 성능을 보존하면서도 공격자가 지시한 작업을 방지하는 방어책의 필요성을 강조합니다.
ActGov: 정책 제약 검증을 통한 LLM 에이전트 행동 거버넌스
ActGov: Governing LLM Agent Actions via Policy-Constrained Validation
대규모 언어 모델(LLM) 에이전트는 외부 도구를 통해 장기적인(long-horizon) 워크플로우를 점점 더 많이 실행하고 있으며, 이로 인해 신뢰할 수 없는(untrusted) 출력이 이후 행동에 영향을 미치고 사용자 권한을 초과하도록 허용될 수 있다. 기존 방어 기법들은 주입된 콘텐츠를 격리하거나 사전 정의된 계획과 정적 정책으로 실행을 제한하지만, 이러한 접근 방식은 동적 워크플로우에서는 취약하며 확장 가능한 도구 생태계 전반에 걸쳐 잘 확장되지 않는다. 본 연구에서는 LLM이 제안한 각 도구 행동이 외부 효과를 유발하기 전에 이를 검증하는 런타임 강제(enforcement) 프레임워크인 ActGov를 제시한다. 권한(authorization), 행동(action), 런타임 컨텍스트, 보안 제약 조건에 대한 통합된 의미론적 모델을 기반으로, ActGov-Policy 컴포넌트는 도구 명세(specification), 정상(benign) 작업, 관찰된 실패 흔적(trace)으로부터 정책 집합을 반복적으로 구성하며, 각 업데이트는 SMT 기반 반례(counterexample) 검사를 통해 검증된다. 런타임에서 ActGov-Runtime은 각 도구 호출을 유한한 정책 레코드로 추상화하고, 이 호출이 작업 범위 내(task-scoped) 권한 경계를 벗어나지 않고 적용 가능한 모든 정책을 만족하는 경우에만 이를 허용한다. 이러한 행동 단위(per-action)의 강제 방식은 장기적이고 동적으로 분기하는 워크플로우 전반에 걸쳐 권한을 유지한다. 우리는 AgentDojo 및 AgentDyn 벤치마크에서 여러 모델과 공격 구성에 걸쳐 ActGov를 평가하였다. 그 결과 ActGov는 작업 유용성(task utility)을 유지하면서 간접 프롬프트 주입(indirect prompt-injection) 공격의 성공률을 일관되게 감소시켰으며, 기존 방어 기법들을 크게 상회하는 성능을 보였다. 이러한 결과는 ActGov가 기반 LLM이 악의적인 지시를 올바르게 식별하는 데 의존하지 않고도 동적인 에이전트 실행에 대해 세밀한(fine-grained) 권한을 강제할 수 있음을 보여준다.
LLM-에이전트 시스템 안전을 위한 1급 원칙으로서의 격리: 개념, 분류 체계, 과제 및 향후 연구 방향
Isolation as a First-Class Principle for LLM-Agent System Safety: Concepts, Taxonomy, Challenges and Future Directions
LLM 에이전트가 시스템의 '두뇌' 역할을 할 수 있다는 능력은 분석 범위를 단독 모델을 넘어 근본적으로 확장한다. 따라서 안전성은 더 이상 입력-출력 콘텐츠 정렬만의 문제가 아니다. 시스템 행동과 실세계 실행 결과도 다룬다. 그러나 현재 문헌은 공격 유형, 응용, 벤치마크에 걸쳐 파편화되어 있다. 이로 인해 프롬프트 인젝션, 도구 오용, 메모리 포이즈닝과 같은 실패가 왜 종종 동일한 구조적 원인을 공유하는지, 그리고 이것이 에이전트 워크플로를 통해 어떻게 확산되는지 설명하기 어렵다. 본 서베이에서는 LLM-에이전트 시스템 안전에 대해 격리를 1급 원칙으로 취급한다. 여기서 격리란 사용자 입력, 도구 접근, 실행 채널, 에이전트 간 통신, 환경 기원 컨텍스트의 분리를 가리킨다. 우리는 다섯 가지 경계—사용자-에이전트, 에이전트-도구, 에이전트-실행, 에이전트-에이전트, 시스템-환경—에 대한 경계 중심 분류 체계로 문헌을 정리한다. 이 관점은 격리 손실이 처음 발생하는 지점, 침해가 경계를 가로질러 어떻게 전파되는지, 각 인터페이스에서 어떤 방어가 가장 관련 있는지 파악하는 데 도움이 된다. 또한 경계 간 실패 경로를 요약하고, 미해결 과제를 논의하며, 향후 에이전트 시스템에서 구축 시 격리(isolation-by-construction)를 위한 연구 의제를 제시한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.