PyTorchKR Papers

최신 논문

총 71편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13623v1cs.CR

APEX-Harm: 공유된 전문 업무 공간에서의 에이전트 안전성 평가

APEX-Harm: Evaluating Agent Safety in Shared Professional Workspaces

전문 업무용 에이전트(agent)는 파일, 메시지 및 비즈니스 애플리케이션이 포함된 공유 업무 공간에서 명령줄 인터페이스와 여러 도구를 통해 작업하는 경우가 점점 늘고 있습니다. 이러한 환경은 단일의 알려진 읽기 위치에 배치된 공격으로는 포착하기 어려운 안전성(safety) 위험을 초래합니다. 본 논문에서는 대규모 업무 공간에서 금융, 컨설팅 및 법률 업무를 수행하는 장기 실행(long-horizon) 에이전트를 대상으로 프롬프트(prompt) 및 스크립트 인젝션을 평가하기 위한 벤치마크(benchmark)인 APEX-Harm을 소개합니다. 각 태스크에는 115개에서 328개의 파일이 포함되어 있으며, MCP 서버를 통해 노출되는 이메일, 캘린더, 채팅, 문서, 스프레드시트, PDF 및 코드 실행 도구가 함께 제공됩니다. 이 벤치마크는 정적 및 동적 인젝션, 태스크별 스크립트 대체, 공격자가 제공한 범용 스크립트를 포괄하는 6가지 공격 카테고리를 포함하며, 공격 성공률, 노출도, 태스크 성능을 평가합니다. 저자들은 모델(model)당 180개의 태스크 인스턴스에서 12개의 프론티어 모델을 평가합니다. Opus 5와 Sonnet 5가 가장 낮은 전체 공격 성공률(8% 및 20%)을 기록한 반면, 태스크별 스크립트 대체 및 공격자가 제공한 범용 스크립트 공격은 각각 평균 81~84% 및 73%의 공격 성공률을 기록하여 여전히 상당히 더 효과적이었습니다. Gemini 3.8 Flash는 가장 높은 평균 태스크 점수(0.877)를 달성하면서도 여전히 33%의 공격 성공률을 보였습니다. 이러한 결과는 요청된 태스크를 완수하는 것만으로는 안전한 동작의 충분한 증거가 되지 못함을 보여줍니다. 즉, 에이전트는 업무 공간에서 승인되지 않은 작업을 수행하면서도 올바른 결과물을 생성할 수 있습니다.

arXiv:2610.10742v1cs.CR

BRANCH: 다중 스캐너 AI 가드레일 우회 기법

BRANCH: Bypassing Multi-Scanner AI Guardrails

AI 시스템이 핵심 추론 엔진으로 대규모 언어 모델(LLM)에 점점 더 많이 의존함에 따라 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)의 표적이 되고 있습니다. 가드레일은 모델의 입력과 출력을 모니터링하고 검증하지만, 개별적이고 특정 작업에만 집중된 탐지 방식으로 인해 분류상 허점이 발생하여 우회 공격에 취약해집니다. 이에 대응하여 다양한 유형의 악의적 지시를 협력적으로 탐지하는 다중 스캐너 기반 가드레일 시스템이 등장했으며, 분류 경계를 아우르는 공유 잠재 표현으로 인해 기존의 우회 기법들은 효과를 거두지 못하고 있습니다. 본 논문에서는 다중 스캐너 가드레일 시스템을 위해 설계된 우회 방법론인 BRANCH를 제안합니다. 이 방법은 개별 스캐너에 적대적 섭동(adversarial perturbation)을 동적으로 적용하는 분기 트리 탐색(branching tree search) 방식을 활용하며, 전체 가드레일 시스템 스캐너 전반의 종합적인 개선도를 기반으로 후속 섭동 최적화 및 기법 선택을 수행함으로써 우회 평가와 공격 신호 최적화를 효과적으로 분리합니다. 연구 결과, BRANCH는 120개 시나리오의 6개 가드레일 시스템 전반에서 우회 내 의미적 맥락을 보존하면서도 기존 기법 대비 72% 적은 쿼리와 4.5배 단축된 실제 소요 시간(wallclock time)으로 100% 공격 성공률을 달성함을 입증했습니다. 또한 BRANCH로 생성된 우회 입력이 8개의 상용 블랙박스 가드레일을 포함한 29개의 미확인(unseen) 가드레일로 전이되어, 추가 최적화 없이도 일부 사례에서 공격 성공률이 최대 100%까지 향상됨을 보여줍니다.

arXiv:2610.02432v2cs.CR

입력 시퀀스 변화에 대한 대규모 언어 모델(LLM)의 강건성 평가 및 개선

Evaluating and Improving the Robustness of Large Language Models to Input Sequence Variations

프로덕션 시스템에서 운영되는 대규모 언어 모델(LLM)은 프롬프트 인젝션(prompt injection), 트로이목마(trojan, 백도어), 그리고 자동 품질 지표 조작 공격에 직면한다. 본 논문은 적대적 입력 시퀀스 변화에 대한 LLM의 강건성을 평가하고 개선하기 위한 모델, 방법, 알고리즘을 개발한다. 우리는 작은 입력 교란(perturbation) 하에서 단계별 출력 분포 간의 Jensen-Shannon 발산(divergence)에 기반한 생성적 강건성 지표인 R_stab(f)를 제안한다. 국소적(localized) 공격에 대해서는 V(h) <= 1 - R_class(h)를 증명하며, 여기서 R_class(h)는 의사결정 연산자 h가 작은 교란 하에서도 자신의 결정을 유지할 확률이다. 비국소적(non-localized) 공격에 대해서는 보정된(calibrated) 경험적 모델을 제안한다. LLM-as-a-judge 시스템에 대해서는 적응형 진화 블랙박스 공격인 ASA를 개발했으며, 이는 최대 73.8%의 공격 성공률(ASR)을 달성하고 오픈 모델 간 전이(transfer) 시에도 최대 62.6%를 기록한다. Trojan Detection Challenge 2023 데이터(Pythia-1.4B)에서는 대리(surrogate) 트리거가 REASR ~0.99에 도달하는 반면, 실제 트리거에 대한 재현율은 기준선 ~0.14에 비해 ~0.17에 불과하다. SaTML CTF 2024에서는 다층(multi-layer) 방어를 우회하는 네 가지 유형을 체계화했으며, 이를 통해 ASR을 90%에서 15~25%로 감소시켰다. 5~7개의 이질적(heterogeneous) 모델로 구성된 위원회(committee)는 Gemma-3-4B의 ASR을 47~55퍼센트포인트 감소시켜, 7개 모델 사용 시 19.3%까지 낮춘다. Model Context Protocol(MCP) 기반 에이전트형(agentic) 시스템에 대해서는, 호출당 0.1ms 미만으로 HMAC으로 보호된 패킷을 사용해 도구 호출(tool call)을 증명(attest)하는 AttestMCP와 Commit Boundary 격리 패턴을 제안한다. 847개 시나리오로 구성된 MCPBench 벤치마크(benchmark)에서 이들 방법은 평균 ASR을 53.7%에서 12.4%로 감소시킨다. 이 방법들은 JudgeGuard 및 TrojanArmor 소프트웨어 스위트와 MCPSec 모듈로 구현되었다.

arXiv:2609.39607v2cs.CR

Pretext: AI 에이전트 악성 스킬 탐지 프레임워크 무력화

Pretext: Defeating Malicious Skill Detection Frameworks for AI Agents

스킬은 컨텍스트에 인스트럭션과 정보를 주입하여 에이전트(agent)의 기능을 확장하며, OpenClaw 및 Claude Code와 같은 에이전트에서 널리 활용되고 있습니다. 선행 연구에 따르면 서드파티 마켓플레이스에는 공격자가 피해자의 에이전트에 직접적인 영향력을 행사할 수 있도록 하는 악성 스킬이 호스팅되고 있습니다. 이에 대응해 등장한 방어 기법은 NVIDIA의 SkillSpector와 같이 결정론적 정적 검사와 대규모 언어 모델(LLM) 기반 시맨틱 판별기를 결합하여 설치 전에 스킬을 스캔합니다. 본 논문에서는 탐지기를 파악하고 있는 공격자에게 이러한 방어 기법이 무력화됨을 보여줍니다. 화이트박스 LLM 공격자인 Pretext는 정상적인 작업을 수행하고 페이로드를 전달하면서도 탐지를 회피하는 스킬을 반복적으로 생성합니다. 즉, 페이로드를 코드에서 자연어로 이전하여 정적 분석을 무력화하고, 이를 스킬의 정당한 목적으로 위장하며 인스트럭션을 여러 파일에 걸쳐 분할함으로써 LLM 단계의 차단 임계값 미만으로 유지합니다. 3개의 오픈소스 모델 전반에 걸쳐 Pretext는 고정된 탐지기와 상호 적응형(co-adaptive) 탐지기에 대해 각각 최대 97% 및 77%의 회피율을 달성하여, 현재 스킬 스캐너의 중대한 결함을 드러냅니다.

arXiv:2609.35308v2cs.CL

다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사

Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation

대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.

arXiv:2604.08304v4cs.CR

안전한 검색-증강 생성에 관한 서베이

A Survey of Secure Retrieval-Augmented Generation

검색-증강 생성(RAG)은 외부 지식을 활용하여 대규모 언어 모델(LLM)을 개선하지만, 이러한 접근 경로는 내재된 순수 프롬프트 결함이나 매개변수 모델 결함과는 구별되는 보안 위험을 초래합니다. 본 논문에서는 안전한 RAG를 외부 지식 접근을 보호하는 것으로 규정합니다. 공격, 방어, 보안 평가에 관한 체계적인 검색을 수행하여 135편의 연구를 선별했으며, 이를 공격 표면(Surface, S)과 이에 대응하는 방어 층(Layer, L), 그리고 이를 관통하는 목적(Objective, O) 및 공격 대상 범위(Target scope, T)를 축으로 하는 분류 체계인 SLOT으로 정리했습니다. 이러한 연구들을 외부 지식 접근 파이프라인에 매핑함으로써 세 가지 불일치를 밝혀냅니다: 대상 불일치(T2 공격이 T2 방어 및 평가를 앞섬), 단계 불일치(S1 공격 수가 L1 방어 수를 초과함), 신호 불일치(유창하고 검색 가능하며 말뭉치에 부합하는 S1 공격이 이상치 기반 L2/L3 방어에 도전과제가 됨). 마지막으로 더욱 현실적인 목표, 공격 표면을 완전하게 포괄하는 방어 스택, 표준화된 평가, 기밀성, 그리고 멀티모달 및 에이전트 시스템을 위한 향후 방향을 논의하며, 선별 과정, 선정된 논문 메타데이터, 기계 판독 가능한 SLOT 레이블을 https://github.com/TreeAI-Lab/Awesome-RAG-Security 에 공개합니다.

arXiv:2610.02413v1cs.LG

구별하도록 유도하기: 실제 환경에서 악의적 입력 탐지 프로브 일반화하기

Prompted to Discriminate: Generalizing Malicious-Input Probes in the Wild

대규모 언어 모델(LLM) 에이전트는 프롬프트 주입(prompt injection), 탈옥(jailbreak), 안전하지 않은 요청에 대응하는 런타임 모니터로서 활성화 프로브(activation probe)에 점점 더 많이 의존하고 있으며, 에이전트가 행동을 취하기 전에 유해한 입력을 감지하기 위해 모델 자체의 은닉 상태를 읽어냅니다. LLM-as-a-judge 프롬프팅에서 착안하여 점점 더 널리 쓰이는 저비용 접근법은 사용자 턴 뒤에 짧은 분류(classification) 지시문을 덧붙이고 해당 지점에서 프로브를 읽어 판별력을 높이는 방식입니다. 즉, 이 지시문은 모델이 들어오는 요청을 하나의 클래스로 표현하도록 요구하여 프로브가 분리해야 할 신호를 집중시키며, 이때 추가 서빙 비용은 거의 들지 않습니다. 그러나 이러한 접미사(suffix)의 문구가 실제로 중요한지, 그리고 배포된 모니터가 직면하게 되는 상황인 학습(training) 중 한 번도 보지 못한 공격 유형에 대해서도 실제 환경에서 그 이점이 유지되는지는 명확하지 않습니다. 본 연구에서는 13개 안전성(safety) 벤치마크(탈옥, 주입, 일반 대화)와 세 가지 오픈 가중치(open-weight) 모델 제품군(Llama-3.1-8B, Qwen3.5-9B, Gemma-4-12B)을 대상으로 엄격한 LODO(leave-one-dataset-out) 평가를 수행하여 사용자 뒤에 붙는 접미사들을 체계적으로 통제하며 테스트했습니다. 단일 위치 프로브에서 분류 접미사는 접미사가 없을 때보다 분포 외(out-of-distribution) 탐지 성능을 일관되게 향상시켰습니다(최대 약 4 AUC 포인트). 그러나 어떤 접미사를 사용하는지가 중요합니다. 내용이 없는 라벨로라도 입력을 분류하도록 모델에 프롬프트를 제공하는 방식이 확실한 우위를 보인 반면, 주제를 벗어나거나 단순히 주의만 환기하는 접미사는 거의 도움이 되지 않았습니다. 이러한 이득은 명시된 기준이 아니라 분류 형식 자체에서 비롯됩니다. 내용이 없는 무의미한 접미사도 실제 악성/정상 분류 접미사와 대등한 성능을 보였으며, 명시적 기준은 엄격한 임계값에서만 정밀도(precision)를 더할 뿐이었습니다. 이는 단일 위치 읽기의 특이 결과가 아닙니다. 이 이점은 프로덕션 환경에서 사용되는 다중 위치 풀링(pooling) 프로브(어텐션, multi-max, MLP)로도 이어졌으나, 여기서 가장 우수한 성능을 내는 접미사는 판독(readout) 방식에 따라 달라졌습니다. KV-캐시 포크를 통해 서빙할 경우 이는 모든 활성화 프로브 모니터에 손쉽게 대체 적용할 수 있는 저비용 방식이지만 무조건적인 해결책은 아닙니다. 어떤 접미사가 얼마만큼 도움이 되는지는 모델과 판독 방식에 따라 달라집니다.

arXiv:2610.03089v1cs.CR

분기 유도 공격으로부터 컴퓨터 활용 에이전트 보호하기

Securing Computer-Use Agents Against Branch Steering Attacks

현대의 컴퓨터 활용 에이전트(Computer Use Agent, CUA)는 그래픽 사용자 인터페이스와 직접 상호작용하고 서드파티 웹 도구를 실행하므로, 렌더링된 모든 페이지와 도구 응답에 걸쳐 간접 프롬프트(prompt) 주입 공격에 노출됩니다. 격리된 플래너 LLM(Planner LLM, P-LLM)을 사용하여 신뢰할 수 없는 입력을 격리된 LLM(Quarantined LLM, Q-LLM)으로 처리하기 전에 실행 경로를 고정하는 Dual-LLM 패턴은 정형적 안전성(safety) 보장을 제공하는 대표적인 시스템 수준 아키텍처이지만, 이러한 보장은 그래픽 환경에서 무너집니다. CUA 상호작용은 본질적으로 동적이므로 계획이 데이터에 독립적으로 유지될 수 없으며, 에이전트(agent)가 마주할 수 있는 모든 가능한 경우를 포괄하여 런타임에 예상되는 웹 콘텐츠를 기반으로 분기해야만 합니다. 이로 인해 에이전트는 공격자가 명시적인 명령을 주입하지 않고도 신뢰할 수 없는 데이터를 조작하여 CUA를 사전에 승인된 위험한 분기로 강제 진입시키는 분기 유도(branch steering) 공격에 노출됩니다. 본 연구에서는 분기 유도 공격을 체계적으로 연구하고 STEER-Bench(9개 도메인에 걸친 101개 작업)를 도입하여, 표준 CUA(94.4%)와 기본 Dual-LLM CUA(89.5%) 모두에 대해 높은 공격 성공률을 보임을 나타냅니다. 이어서 신뢰할 수 있는 분기 계획과 사전 기능 제약을 결합하여 각 분기가 실행할 수 있는 매개변수와 대상 경로를 엄격하게 제한하는 아키텍처인 COBRA를 제안합니다. STEER-Bench에서 COBRA는 공격 성공률을 0%로 낮추는 동시에 정상적인 유용성을 97% 수준으로 유지합니다.

arXiv:2607.02814v2cs.MA

SovereignNegotiation-Bench: 프라이버시, 동의, 증거 및 제도적 압박 하의 위임 협상에서 사용자 소유 개인 에이전트 평가

SovereignNegotiation-Bench: Evaluating User-Owned Personal Agents In Delegated Bargaining Under Privacy, Consent, Evidence, And Institutional Pressure

개인용 AI 에이전트(agent)는 환불과 청구서 처리부터 보증금 및 판매에 이르기까지 사람들을 대신해 협상하기 시작하고 있습니다. 이러한 위치에 있는 인간 대리인은 거래 성사 여부가 아니라 본인(principal)에 대해 지는 의무로 평가받습니다. 본 연구에서는 대리인법(agency law)에서 비롯된 다섯 가지 의무인 충실, 실제 권한에 대한 복종, 비밀유지, 솔직함, 근면을 에피소드 로그에 대한 결정론적 검사로 구체화한 통제 벤치마크(benchmark)인 SovereignNegotiation-Bench를 소개합니다. 이 중 앞의 세 가지 의무는 단일 핵심 지표로 통합됩니다. 이 벤치마크는 1,764개의 쌍을 이룬 시나리오(18개 소비자 및 개인 간 거래 도메인에 걸친 252개 상황, 각각 7가지 상대방 전략 적용)를 포함합니다. 상대방의 경제적 조건은 에이전트의 구조화된 행동과 메시지에서 감지된 공개 내용에 대한 고정 함수이므로 결과는 여러 에이전트 간에 비교 가능하며, 공개된 한계치는 측정 가능하고 인과적인 대가를 치르게 됩니다. 시뮬레이션된 본인은 동의를 부여하거나 보류하며 에피소드 중간에 위임 권한을 강화합니다. 규칙 기반 에이전트는 이 벤치마크가 관찰 가능한 상태로부터 해결 가능하며(충실한 성공률 92%), 단 한 문장의 정보 공개만으로도 협상된 잉여 전체가 사라진다(0.70에서 0.00으로 감소)는 것을 보여줍니다. 17개의 공개 가중치(open-weight) 모델(model) 전반에서 충실한 성공률은 6%에서 75%까지 다양하게 나타납니다. 모델들은 에피소드의 2~80%에서 본인의 유보 가치(reservation value)를 공개하고, 2~23%에서는 필수 승인 없이 합의하거나 보호된 문서를 공유하며, 주입 에피소드의 5~57%에서는 상대방 메시지에 주입된 지시를 따릅니다. 거래 체결률은 충실한 성공률과 유사하게 모델들의 순위를 매기지만, 개별 합의의 유효성을 보증하지는 못합니다. 전체 모델을 종합했을 때 합의의 48%가 최소 하나 이상의 의무를 위반합니다(모델별 18~96%). 같은 계열 내에서는 크기가 커질수록 충실한 성공률이 증가하는 경향이 있으나 크기에 따른 유의미한 추세는 없으며, 테스트한 모델에서는 프롬프트(prompt)나 코드 수준의 가드 모두 충실한 성공률을 실질적으로 높이지 못했습니다. 코드, 시나리오 및 모든 에피소드 로그는 공개될 예정입니다.

arXiv:2602.07104v3cs.CV

현실로의 확장: 3D 환경에서의 프롬프트 주입

Extended to Reality: Prompt Injection in 3D Environments

멀티모달 대규모 언어 모델(MLLM)은 3D 환경에서 시각적 입력을 해석하고 이에 따라 행동하는 능력을 발전시켜, 로보틱스 및 상황 인지형 대화형 에이전트(situated conversational agent)와 같은 다양한 응용 분야를 지원하고 있습니다. MLLM이 물리적 세계를 카메라로 촬영한 뷰를 바탕으로 추론할 때 새로운 공격 표면(attack surface)이 등장합니다. 공격자가 의도된 MLLM 작업을 무력화하기 위해 텍스트가 포함된 물리적 객체를 환경에 배치할 수 있다는 점입니다. 선행 연구에서는 텍스트 도메인과 디지털 방식으로 편집된 2D 이미지를 통한 프롬프트 주입(prompt injection)을 연구해 왔으나, 이러한 공격이 3D 환경에서 어떻게 작동하는지에 대해서는 주목을 거의 받지 못했습니다. 이러한 간극을 메우기 위해, 본 논문에서는 디지털 이미지 편집 대신 텍스트가 포함된 객체 배치를 통해 실현되는 3D 환경에서의 MLLM 대상 프롬프트 주입 공격인 PI3D를 소개합니다. 본 연구는 주입된 텍스트가 포함된 3D 객체의 효과적인 포즈(위치 및 방향)를 식별하는 문제를 공식화하고 해결하며, 여기서 공격자의 목표는 객체 배치가 물리적으로 타당하게 유지되도록 보장하면서 MLLM이 주입된 작업을 수행하도록 유도하는 것입니다. 실험 결과는 PI3D가 다양한 카메라 궤적 하에서 여러 MLLM을 상대로 효과적인 공격임을 보여줍니다. 나아가 다양한 방어 기법을 평가하여 이러한 기법들이 PI3D를 안정적으로 방어하기에 충분하지 않음을 보입니다.

arXiv:2610.01564v1cs.CR

스킬 체이닝을 통한 LLM 에이전트 하이재킹

Chaining Skills to Hijack LLM Agents

대규모 언어 모델(LLM) 에이전트는 특화된 작업의 성능을 향상하기 위해 스킬(skill)을 활용합니다. 에이전트는 사용자의 요청을 완료하기 위해 여러 스킬을 순차적으로 호출할 수 있으며, 이로 인해 한 스킬에서 생성된 정보가 다음 스킬을 안내하게 됩니다. 스킬은 오픈소스 저장소에서 가져올 수 있으므로, 이러한 정보 전달 과정에서 공격자가 제어하는 주장이 이후의 결정으로 이어질 수도 있습니다. 본 논문에서는 사용자 작업 및 공격자가 선택한 작업에 맞춰 적대적 스킬 체인을 구축하고 정제하는 APEX를 소개합니다. 핵심 통찰은 실제 작업 진행 상황에 대해 에이전트가 작성한 기록이 여러 스킬에 걸쳐 사용자 승인에 대한 거짓 주장을 전달할 수 있다는 점입니다. 즉, 상류(upstream) 스킬이 에이전트로 하여금 해당 기록을 생성하도록 유도하고, 하류(downstream) 스킬은 이를 활용하여 공격자가 선택한 작업을 지시합니다. SkillsBench의 4가지 표적 행동군과 6개 모델에 걸쳐 평가한 결과, 이러한 체인은 690회 시도 중 512회(74.2%)에서 선택된 작업을 유도했습니다. GPT-5.4의 경우, 전체 체인은 워크플로가 단일 스킬로 병합되었을 때의 17.4%와 비교하여 84.3%의 시도에서 성공했습니다. 나아가 스킬이 생성한 파일을 원본 요청과 대조하여 확인하도록 에이전트에게 요청하는 프롬프트 기반 방어 기법을 평가했습니다. GPT-5.4에서 이 방어는 표적 행동 성공률을 84.3%에서 59.1%로 낮추었으나, 72개의 정상 네이티브 스킬 작업에 대한 검증기 테스트 통과율 또한 86.7%에서 56.3%로 떨어졌습니다. 이러한 결과는 정당한 작업 성능을 보존하면서도 공격자가 지시한 작업을 방지하는 방어책의 필요성을 강조합니다.

arXiv:2610.01535v1cs.CR

잘못된 하한선: 분포 변화에서 무너지는 LLM 안전 라우팅 평가

False Floors: LLM Safety Routing Evaluations Break Under Distribution Shift

안전 라우터는 각 요청을 여러 모델 중 하나로 보내며, 단일 최선 모델과 비교하여 평가된다. 주요 라우팅 벤치마크는 평가 데이터 상에서 이러한 비교 대상을 선택한다. 벤치마크 자체의 설정에서는 이것이 무해하지만, 분포 변화(distribution shift) 하에서는 그렇지 않다. HELM Safety에서 이러한 선택 비용은 무작위 분할 시 0.003-0.030의 위해(harm) 수준이며, 홀드아웃(held-out) 범주에서는 0.045-0.113으로, 라우팅 탓으로 돌려진 전체 결손과 맞먹는 수준이고 그 방향성은 기발표된 어느 한 심사자(judge) 기준 단독으로도 유지된다. AgentDojo에서 스위트(suite)가 홀드아웃될 때는 이것이 7배에서 9배까지 증가한다. 사전에 고정된 규칙에 따라 선택된 7개 안전 말뭉치 전반에서 3개는 사전 등록된 구간 검정을 충족하고 4개는 사후 순열 영가설(permutation null)을 능가하며, 구간 검정을 통과하지 못한 4개 중 3개는 일부 모델의 관측된 위해가 0인 말뭉치들이다. 선행 연구는 이러한 바이어스의 방향성을 입증한다. 본 연구는 위해와 정확도 측면에서 그 크기를 측정하고, 우리가 측정한 홀드아웃 분할 하에서 이것이 더 큼을 보이며, 낙관주의(optimism)와 변화 의존적 리그렛(regret)의 합으로 이를 한계 짓는다. 변화 하에서 정직하게 채점할 경우, 이러한 벤치마크들에서 라우팅이 가져다주는 이점은 거의 없다. 대부분의 풀 셀(pool cell)에서 중첩된 라우터는 정직한 기준선의 모델을 제공하며, 거의 포화 상태인 AgentDojo 말뭉치에서 완벽한 사전 디스패치(pre-dispatch) 라우터의 가치는 최대 2포인트의 위해 감소에 불과하다. 또한 우리는 후기 주입(late injection)에 대해 모델이 표출하는 인식이 조향 가능(steerable)함을 발견했다. 홀드아웃 재실행에서 자신이 마주한 모델을 아는 공격자는 GPT-5.4의 판정된 인식을 19.6포인트 낮추며, 이는 독립적인 레이블에 의해서도 확인된다. 제어기로의 오프라인 반사실적 합성(counterfactual composition)에서, 동일한 공격은 대체(fallback) 모델에 따라 추정 위해를 높이거나 낮춘다. 안전 라우팅은 변화 하에서, 테스트 레이블 없이 선택된 기준선과 비교하여 평가되어야 하며, 인식 기반 방어는 모델이 보는 것을 선택하는 공격자에 맞서 위해를 기준으로 채점되어야 한다.

arXiv:2610.01349v1cs.CR

PACE: 도구를 사용하는 LLM 에이전트를 위한 출처 인지 역량 강제

PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents

도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 생성된 텍스트를 실제 부작용(side effect)으로 전환하므로, 오염된 도구 메타데이터, 검색된 페이지, 메모리 및 재사용 가능한 스킬이 다음 도구 호출을 유도할 수 있습니다. 승인(admission) 전에 아티팩트를 검증하는 것만으로는 이 문제를 해결하지 못합니다. 안전한 변형과 유출 변형이 동일한 승인 증거를 생성할 수 있어, 건전한 게이트라도 둘 중 어느 쪽에 대해서도 해당 지점의 검사를 완화할 수 없습니다. 본 연구에서는 이러한 조건을 정밀하게 정의하여, 배포 환경에서 여전히 조치를 취할 수 있는 마지막 경계를 남깁니다. 본 논문에서는 모든 도구 호출이 실행되기 직전에 이를 중재하는 출처 인지 역량 강제(PACE, Provenance-Aware Capability Enforcement)를 제안합니다. 경로 제한(Path confinement)은 표현된 영향 경로의 실행 가능한 컷을 제안하며, 역량 및 효과 검증은 인증된 요청으로부터 컴파일된 권한과 스키마에 정의된 효과를 대조하여 확인합니다. 제안된 차단 이후 인가된 호출을 복원하거나 선언된 복구를 적용할 수 있는 평가 구성과 인증된 실행 계약을 구분합니다. 제한 메커니즘은 최종 동작이 인증된 컷을 보존하도록 요구합니다. 3개 타깃 모델 군을 사용한 8개의 실행 가능한 에이전트 보안 벤치마크에서, 평가 구성은 적격 공격 항목 79개 중 62개에서 완전히 가장 낮은 공격 성공률을 기록했고 14개에서 동률을 달성했습니다. 전체 벤치마크 고유 유용성(native utility)은 방어되지 않은 에이전트 대비 최대 3포인트만 손실되었습니다. 1,167개 쌍체 사례에 대한 완전한 어블레이션 분석 결과, 대부분의 보안 향상은 효과 검증에, 거절 제어는 경계 적응에 기인하는 것으로 나타났습니다. 축소된 규모의 적응형 탐색 결과, 방어 체계에 맞선 권한 외(out-of-authority) 타깃 30개 중 0개에서만 성공했습니다.

arXiv:2610.00797v1cs.AI

Sapien: 자율 AI 에이전트를 위한 상태 기반 정책 엔진

Sapien: A Stateful Policy Engine for Autonomous AI Agents

문맥 기반 보안 방어(contextual security defense)는 작업별 정책을 합성하고 이를 에이전트의 도구 호출에 적용함으로써 AI 에이전트(agent)가 비정상적인 행동을 하지 못하도록 방지합니다. 그러나 다단계 작업에서는 어떤 행동이 유효한지가 에이전트가 이미 수행한 작업과 학습한 내용에 따라 달라지는 경우가 많습니다. 본 논문에서는 상태 기반(stateful) 문맥 정책을 적용하기 위한 정책 엔진인 Sapien을 제시합니다. Sapien 정책은 상태 기반 술어(stateful predicate), 지연 정책 생성(deferred policy generation), 범위 한정 의미론적 검사(scoped semantic check)로 확장된 정규 표현식을 사용하여 허용된 도구 호출 시퀀스를 지정합니다. 실험을 통해 Sapien이 제약 없는 에이전트의 유용성(utility)과 비교했을 때 수 퍼센트 이내의 성능을 유지함을 보입니다. 에이전트가 완전히 탈취되더라도, Sapien의 정책은 AgentDojo에서 공격의 93~95%, Toolathlon에서 62~85%를 차단합니다(장기적 작업(long-horizon tasks)에서 도구 허용 목록 대비 2배 많은 수치).

arXiv:2606.20470v4cs.CR

에이전틱 AI 시스템에 대한 모델 유도 자동화 공격에 맞선 방어적 오도 분석

Analyzing Defensive Misdirection Against Model-Guided Automated Attacks on Agentic AI Systems

에이전틱 AI(Agentic AI) 시스템은 지시문 해석, 외부 데이터 처리, 도구 호출, 다른 에이전트와의 조율을 위해 언어 모델 컴포넌트에 점점 더 많이 의존하고 있습니다. 이러한 기능은 특히 공격자가 탐침(probing), 프롬프트 정제, 응답 평가를 확장하기 위해 모델 유도 자동화를 도입함에 따라 프롬프트 주입 및 탈옥(jailbreak) 공격의 파급력을 더욱 키웁니다. 본 연구는 대상 시스템, 방어 메커니즘, 공격자의 자동화된 판정자(judge)에 대한 확률 모델을 통해 공격-방어 환경을 분석합니다. 분석에 따르면, 예측 가능한 거절 반응이 자동화된 탐색에 유용한 피드백을 제공하기 때문에 기존의 '탐지 및 차단(detect-and-block)' 방어는 질의 예산(query budget)이 증가함에 따라 공격자 성공률(ASR)이 1에 수렴하도록 허용할 수 있습니다. 이에 본 연구에서는 악의적인 상호작용이 감지되었을 때 공격자의 판정자가 위양성(false-positive) 오류를 일으키도록 설계된 통제된 비작동 응답을 제공하는 '탐지 및 오도(detect-and-misdirect)' 전략을 살펴봅니다. 이 전략은 공격자가 선택한 후보의 양성 예측도(PPV)를 낮추고 유계된(bounded) 점근적 ASR을 유도합니다. 본 연구는 자동화된 탈옥 환경에서 예측 가능한 거절 텍스트를 안전하지만 전략적으로 오도하는 응답으로 대체하도록 설계된 경량 대화형 오도 기법인 CMPE(Contextual Misdirection via Progressive Engagement)를 통해 이 전략의 개념 증명 구현을 평가합니다. 탈옥 벤치마크에서 CMPE는 추정된 ASR 상한을 최대 2자릿수(orders of magnitude)까지 낮추었으며, PAIR, GPTFuzz, AutoDAN-Turbo를 사용한 엔드투엔드 실험에서 검증된 공격 성공을 거의 제거했습니다.

arXiv:2510.01354v2cs.CR

WAInjectBench: 웹 에이전트를 위한 프롬프트 인젝션 탐지 벤치마킹

WAInjectBench: Benchmarking Prompt Injection Detections for Web Agents

웹 에이전트(web agent)를 겨냥한 여러 프롬프트 인젝션(prompt injection) 공격이 제안되어 왔습니다. 동시에 일반적인 프롬프트 인젝션 공격을 탐지하기 위한 다양한 방법들이 개발되었으나, 웹 에이전트에 대해 체계적으로 평가된 바는 없습니다. 본 연구에서는 웹 에이전트를 대상으로 하는 프롬프트 인젝션 공격 탐지에 대한 최초의 종합적인 벤치마크(benchmark) 연구를 제시하여 이러한 공백을 메웁니다. 먼저 위협 모델(threat model)을 기반으로 이러한 공격의 세분화된 분류 체계를 소개합니다. 그런 다음 악성 샘플과 정상 샘플을 모두 포함하는 데이터셋(dataset)을 구축합니다. 여기에는 서로 다른 공격으로 생성된 악성 텍스트 세그먼트, 4개 범주의 정상 텍스트 세그먼트, 공격으로 생성된 악성 이미지, 2개 범주의 정상 이미지가 포함됩니다. 이어서 텍스트 기반 및 이미지 기반 탐지 방법을 체계화합니다. 마지막으로 다양한 시나리오에 걸쳐 이들의 성능을 평가합니다. 주요 연구 결과에 따르면, 일부 탐지기는 명시적인 텍스트 지시나 눈에 띄는 이미지 섭동(perturbation)에 의존하는 공격을 보통에서 높은 수준의 정확도로 식별할 수 있지만, 명시적인 지시를 생략하거나 인지하기 어려운 섭동을 사용하는 공격에는 크게 실패하는 것으로 나타났습니다. 데이터셋과 코드는 https://github.com/Norrrrrrr-lyn/WAInjectBench 에 공개되어 있습니다.

arXiv:2609.26900v1cs.CR

Ajar: Measuring Open Privilege in Agent Defenses

A language model agent acts through the tools it is given. The data it reads while working on a task can redirect what it does with those tools. A growing set of techniques for safe and secure agent execution therefore sits between the agent and its tools, aiming to enforce access control, information flow or isolation at that boundary. Today these techniques are evaluated on agent-security benchmarks built around indirect prompt injection. Those benchmarks judge a defense by how far it brings the number of successful attacks down while preserving the agent's utility. A defense is judged only on the agent's execution. It can score well on both metrics while holding open a transfer, a deletion or a broad read that no task needed. Ajar measures that open privilege directly using the existing benchmarks. It attaches to an agent-security benchmark that already exists and reuses the tasks, tool schemas, reference solutions and goal states that benchmark uses to grade its own runs. For each benign task it builds candidate tool calls the task does not need, so allowing one is privilege left open. These calls are presented to the defense at every point where the agent could act. We evaluate Ajar by attaching it to AgentDojo, where open privilege becomes a third axis beside the existing attack success and benign utility. We run it on five defenses: Progent, CaMeL, AC4A, Permission Assistant, and Claude Code's Auto mode. We observed that they leave widely different amounts of privilege open. Two defenses leak by almost the same amount yet differ widely in the benign tasks they finish, and one defense buys part of its tightness by refusing calls its tasks were entitled to make. This open privilege cannot be derived from the measured attack success or benign utility. The source code of Ajar is available at https://github.com/reSHARMA/Ajar.

arXiv:2609.24801v1cs.CR

가드레일 디코딩: XAI 기반 섭동 분석을 통한 프롬프트 주입 탐지 분석

Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection

대규모 언어 모델(LLM)이 프로덕션 시스템에 점차 널리 배포됨에 따라, 프롬프트 주입(prompt injection) 및 탈옥(jailbreak) 공격을 통한 적대적 조작에 노출될 수 있다는 우려가 커지고 있습니다. Prompt Guard 2와 같은 분류기 기반 가드레일은 이러한 공격에 대한 1차 방어선으로 널리 사용되고 있으나, 그 내부 의사결정 로직은 방어자와 공격자 모두에게 대체로 불투명합니다. 본 논문은 설명 가능한 인공지능(XAI) 기법을 적용하여 Prompt Guard 2가 악성 프롬프트와 정상 프롬프트를 어떻게 구분하는지 분석하는 탐색적 사례 연구를 제시합니다. 본 연구는 이 문제를 경험적으로 조사하기 위해 네 가지 실험을 수행합니다. Vanilla Gradient 및 SHAP 어트리뷰션을 기반으로 분석한 결과, Prompt Guard 2의 결정은 소수의 지배적인 토큰보다는 다수 토큰의 누적 기여도에 의존하는 것으로 나타났습니다. 그럼에도 불구하고 중요도(saliency) 기반 동의어 대체 및 문장 수준의 패러프레이징을 적용하면 텍스트의 적당한 비율만을 변경하면서도 분류기의 예측을 뒤집을 수 있으며, 일부 경우에는 기저 LLM에 대한 탈옥에 성공하기도 했습니다. 나아가 데이터셋 규모의 중요도 분석을 통해, 탐지되지 않은 주입 프롬프트에는 분류기가 의존하는 어휘적 표지가 체계적으로 결여되어 있음을 보여줍니다. 저자들은 이러한 발견이 분류기 기반 가드레일의 설계 및 평가에 미치는 영향을 논의하며, 투명성을 지원하기 위한 설명 방법론이 오히려 성공적인 적대적 우회 공격을 구축하는 비용을 낮출 수 있다고 주장합니다.

arXiv:2609.24446v1cs.CR

ActGov: 정책 제약 검증을 통한 LLM 에이전트 행동 거버넌스

ActGov: Governing LLM Agent Actions via Policy-Constrained Validation

대규모 언어 모델(LLM) 에이전트는 외부 도구를 통해 장기적인(long-horizon) 워크플로우를 점점 더 많이 실행하고 있으며, 이로 인해 신뢰할 수 없는(untrusted) 출력이 이후 행동에 영향을 미치고 사용자 권한을 초과하도록 허용될 수 있다. 기존 방어 기법들은 주입된 콘텐츠를 격리하거나 사전 정의된 계획과 정적 정책으로 실행을 제한하지만, 이러한 접근 방식은 동적 워크플로우에서는 취약하며 확장 가능한 도구 생태계 전반에 걸쳐 잘 확장되지 않는다. 본 연구에서는 LLM이 제안한 각 도구 행동이 외부 효과를 유발하기 전에 이를 검증하는 런타임 강제(enforcement) 프레임워크인 ActGov를 제시한다. 권한(authorization), 행동(action), 런타임 컨텍스트, 보안 제약 조건에 대한 통합된 의미론적 모델을 기반으로, ActGov-Policy 컴포넌트는 도구 명세(specification), 정상(benign) 작업, 관찰된 실패 흔적(trace)으로부터 정책 집합을 반복적으로 구성하며, 각 업데이트는 SMT 기반 반례(counterexample) 검사를 통해 검증된다. 런타임에서 ActGov-Runtime은 각 도구 호출을 유한한 정책 레코드로 추상화하고, 이 호출이 작업 범위 내(task-scoped) 권한 경계를 벗어나지 않고 적용 가능한 모든 정책을 만족하는 경우에만 이를 허용한다. 이러한 행동 단위(per-action)의 강제 방식은 장기적이고 동적으로 분기하는 워크플로우 전반에 걸쳐 권한을 유지한다. 우리는 AgentDojo 및 AgentDyn 벤치마크에서 여러 모델과 공격 구성에 걸쳐 ActGov를 평가하였다. 그 결과 ActGov는 작업 유용성(task utility)을 유지하면서 간접 프롬프트 주입(indirect prompt-injection) 공격의 성공률을 일관되게 감소시켰으며, 기존 방어 기법들을 크게 상회하는 성능을 보였다. 이러한 결과는 ActGov가 기반 LLM이 악의적인 지시를 올바르게 식별하는 데 의존하지 않고도 동적인 에이전트 실행에 대해 세밀한(fine-grained) 권한을 강제할 수 있음을 보여준다.

arXiv:2609.22712v1cs.AI

신뢰할 수 있는 에이전틱 AI: 자율적 LLM 시스템을 위한 실패 모드, 완화 전략 및 생애주기 프레임워크

Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems

대규모 언어 모델(LLM)을 기반으로 구축된 에이전틱 AI(Agentic AI) 시스템은 여러 단계에 걸친 계획 수립, 외부 도구 활용, 메모리 내 정보 보존, 다른 에이전트와의 협업을 수행할 수 있습니다. 이러한 기능은 기존의 정적 언어 모델보다 뛰어난 유용성을 제공하지만, 동시에 새로운 보안 및 운영상의 위험을 야기합니다. 웹사이트, 이메일, 문서, 데이터베이스 등 신뢰할 수 없는 콘텐츠가 시스템 인스트럭션과 동일한 컨텍스트로 유입될 수 있고, 영구 메모리는 침해된 정보를 세션 전반에 걸쳐 전달할 수 있으며, 외부 도구에 대한 접근 권한은 모델의 부정확한 응답을 중대한 실제 행동으로 이어지게 할 수 있습니다. 본 논문은 안전성(safety) 및 견고성, 정렬(alignment) 및 인간 감독, 투명성 및 감사 가능성, 프라이버시 및 데이터 거버넌스, 규제 준수라는 다섯 가지 상호 연결된 차원에서 에이전틱 AI의 신뢰성을 검토합니다. 또한 간접 프롬프트 인젝션(indirect prompt injection), 백도어 트리거, 목표 오일반화(goal misgeneralization), 메모리 오염, 세션 간 데이터 유출을 포함한 주요 실패 모드를 통합된 분류 체계로 정리합니다. 아울러 인스트럭션 계층 구조, 컨텍스트 격리, 스포트라이팅(spotlighting), 프로세스 기반 감독, 제한적 도구 사용, 프라이버시 보존 메모리 등 주요 완화 방식을 살펴보며, 실증적 증거로 뒷받침되는 기법과 여전히 주로 개념적 수준에 머물러 있는 기법을 구분합니다. 이러한 분석을 바탕으로, 명세, 설계, 학습(training), 평가(evaluation), 배포, 모니터링의 6단계로 구성된 '신뢰할 수 있는 에이전트 개발 생애주기(TADL)' 프레임워크를 소개합니다. TADL은 각 단계별로 관련 신뢰성 활동, 요구되는 증거, 위험 기반 의사결정 게이트를 정의합니다. TADL은 아직 실증적으로 검증되지는 않았으나, 보다 안전하고 책임 있는 에이전틱 시스템을 개발하고 평가하기 위한 구조화된 기반을 제공합니다. 마지막으로 본 논문은 현재 벤치마크(benchmark)의 한계를 짚어보고 향후 연구를 위한 우선 과제를 제시하며 마무리합니다.