arXiv:2607.23147v2 cs.CR

거짓 예언자: 에이전트 시스템 내 월드 모델의 보안성에 대하여

False Prophets: On the Security of World Models in Agentic Systems

Erik Imgrund, Anna Wimbauer, Klim Kireev, Konrad Rieck

제출 2026-07-25

한국어 초록

대규모 언어 모델(LLM)은 이제 다양한 환경에서 복잡한 다단계 작업을 수행할 수 있는 자율 에이전트의 기반이 되고 있습니다. 이러한 작업을 정확하고 안정적으로 수행하려면 에이전트가 자신의 행동 결과를 예측해야 합니다. 최근 연구에서는 특별히 학습된 환경 시뮬레이터인 월드 모델(world model)을 통해 이러한 예측 능력을 향상시킬 것을 제안합니다. 월드 모델은 성능을 향상시킬 수 있지만, 에이전트가 유해한 행동을 실행하도록 오도하여 심각한 보안 및 개인정보 보호 위험을 초래할 수도 있습니다. 본 논문에서는 에이전트 시스템에서 월드 모델을 사용하는 것에 대한 보안 우려를 제기합니다. 저자들은 터미널 기반 에이전트에서 악성 코드를 실행하거나 민감한 데이터를 탈취하는 데 악용될 수 있는 월드 모델 특화 취약점들을 발견했습니다. 향후 발전을 촉진하기 위해 텍스트 기반 월드 모델용으로 설계된 보안 벤치마크 데이터셋을 소개합니다. 저자들은 일부 위험이 근사 월드 모델링(approximate world modeling)에 내재되어 있다고 주장하며, 공격자가 에이전트 파이프라인에서 최대 95%의 성공률로 오예측을 유도할 수 있음을 보입니다. 이는 의도치 않은 명령어 실행, 서비스 거부(DoS), 지갑 자금 유출 및 개인정보 탈취로 이어질 수 있습니다. 마지막으로, 발견된 위해를 완화하고 에이전트 시스템을 강화하기 위해 실무자를 위한 실용적인 권장사항을 제시합니다.

원문 초록

Large language models now power autonomous agents capable of complex, multi-step tasks in different environments. Accurate and reliable execution of these tasks requires the agent to predict the results of its actions. Recent research proposes to enhance predictive capabilities via specially trained environment simulators-world models. While world models can improve performance, they can also mislead agents into executing harmful actions, creating significant security and privacy risks. In this paper, we raise security concerns regarding the usage of world models in agentic systems. We discover a range of world model specific vulnerabilities, which can be exploited in terminal-based agents to execute malicious code or extract sensitive data. To facilitate future development, we introduce a security benchmark dataset designed for text-based world models. We argue that some risks are intrinsic to approximate world modeling, and show that attackers can induce mispredictions in agentic pipelines with up to 95% success rate, possibly resulting in unintended command execution, denial of service, drainage of wallet and private information extraction. Finally, we provide practical recommendations for practitioners to mitigate the discovered harms and harden agentic systems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.23147v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.11030v1cs.CR공통 태그 Adversarial Attack, Adversarial Robustness, llm agents

NOMOS: 문서화된 정책을 LLM 에이전트를 위한 정적으로 검증된 도구 호출 게이트로 컴파일하기

NOMOS: Compiling Written Policies into Statically Verified Tool-Call Gates for LLM Agents

도구를 사용하는 대규모 언어 모델(LLM) 에이전트(agent)는 집행하도록 배포된 정책을 종종 인지하지 못하는 사이에 위반합니다. 기존의 방어 방식은 수작업으로 규칙을 작성하거나, 행동마다 LLM 검증기(verifier)에 질의하거나, 무거운 정형 검증 체계를 통해 정책을 컴파일합니다. 그러나 단순한 컴파일은 실패합니다. 즉, 추출된 규칙이 자체 사전 조건을 충족하는 도구를 차단하거나 도구에 없는 인자를 읽으려 합니다. 4단계(four-pass) 컴파일러인 NOMOS는 자연어 정책을 결정론적 도구 호출 게이트로 변환합니다. 증명기(prover), 솔버(solver), LLM 없이 도구 스키마 수준의 검사만으로 수행하는 정적 검증을 통해 후보 규칙의 37%(항공사) 및 13%(소매)를 수정하거나 기각하며, 이러한 검증이 없으면 배포된 규칙의 대부분이 동작하지 않습니다. 방어되지 않은 트랜스크립트(transcript)에 컴파일된 규칙을 재생(replay)함으로써 정당한 작업을 거부하는 바인딩을 감지합니다(한 개발 바인딩은 태스크를 통과하는 호출의 95.9%를 거부했습니다). 반면 평가 바인딩은 하나도 감지되지 않았습니다. $τ^2$-bench에서 해당 게이트는 상태 변경 호출 중 기준 인코딩 조항의 위반율을 66.3%에서 2.6%(항공사), 30.8%에서 6.9%(소매)로 줄였으며, $2 \le k \le 4$에 대해 항공사 태스크 성공률을 크게 높였습니다. 26B 온프레미스 컴파일은 수작업으로 작성되었거나 프론티어 모델로 컴파일된 규칙과 비교해 유의미하게 뒤처지지 않았습니다. AgentDojo의 기본 제공 방어와 달리, 9개 공격 패밀리가 3개의 구조적 규칙으로 축약되는 뱅킹 도메인에서 공격 성공률(ASR) 0%를 달성했습니다. 다른 세 가지 스위트에서 ASR은 최대 3.6%였는데, 이는 제어할 도구 호출이 없는 목표와 해당 조항보다 약한 바인딩으로 인해 허용된 한 건의 쓰기 작업에서 기인한 것입니다. 두 번째 에이전트 모델(model)인 Llama-3.3-70B에서도 두 벤치마크(benchmark) 모두에서 동일한 효과가 재현되었습니다. 결정은 LLM 호출 없이 마이크로초 단위로 이루어지며, 도메인에 따른 정상 유용성(benign utility) 비용이 발생합니다. 컴파일은 오픈 가중치(weight) gemma-4-26B를 기반으로 온프레미스에서 실행됩니다.

arXiv:2610.01349v1cs.CR공통 태그 Adversarial Attack, llm agents, agent security

PACE: 도구를 사용하는 LLM 에이전트를 위한 출처 인지 역량 강제

PACE: Provenance-Aware Capability Enforcement for Tool-Using LLM Agents

도구를 사용하는 대규모 언어 모델(LLM) 에이전트는 생성된 텍스트를 실제 부작용(side effect)으로 전환하므로, 오염된 도구 메타데이터, 검색된 페이지, 메모리 및 재사용 가능한 스킬이 다음 도구 호출을 유도할 수 있습니다. 승인(admission) 전에 아티팩트를 검증하는 것만으로는 이 문제를 해결하지 못합니다. 안전한 변형과 유출 변형이 동일한 승인 증거를 생성할 수 있어, 건전한 게이트라도 둘 중 어느 쪽에 대해서도 해당 지점의 검사를 완화할 수 없습니다. 본 연구에서는 이러한 조건을 정밀하게 정의하여, 배포 환경에서 여전히 조치를 취할 수 있는 마지막 경계를 남깁니다. 본 논문에서는 모든 도구 호출이 실행되기 직전에 이를 중재하는 출처 인지 역량 강제(PACE, Provenance-Aware Capability Enforcement)를 제안합니다. 경로 제한(Path confinement)은 표현된 영향 경로의 실행 가능한 컷을 제안하며, 역량 및 효과 검증은 인증된 요청으로부터 컴파일된 권한과 스키마에 정의된 효과를 대조하여 확인합니다. 제안된 차단 이후 인가된 호출을 복원하거나 선언된 복구를 적용할 수 있는 평가 구성과 인증된 실행 계약을 구분합니다. 제한 메커니즘은 최종 동작이 인증된 컷을 보존하도록 요구합니다. 3개 타깃 모델 군을 사용한 8개의 실행 가능한 에이전트 보안 벤치마크에서, 평가 구성은 적격 공격 항목 79개 중 62개에서 완전히 가장 낮은 공격 성공률을 기록했고 14개에서 동률을 달성했습니다. 전체 벤치마크 고유 유용성(native utility)은 방어되지 않은 에이전트 대비 최대 3포인트만 손실되었습니다. 1,167개 쌍체 사례에 대한 완전한 어블레이션 분석 결과, 대부분의 보안 향상은 효과 검증에, 거절 제어는 경계 적응에 기인하는 것으로 나타났습니다. 축소된 규모의 적응형 탐색 결과, 방어 체계에 맞선 권한 외(out-of-authority) 타깃 30개 중 0개에서만 성공했습니다.

arXiv:2610.01564v1cs.CR공통 태그 Adversarial Attack, llm agents, agent security

스킬 체이닝을 통한 LLM 에이전트 하이재킹

Chaining Skills to Hijack LLM Agents

대규모 언어 모델(LLM) 에이전트는 특화된 작업의 성능을 향상하기 위해 스킬(skill)을 활용합니다. 에이전트는 사용자의 요청을 완료하기 위해 여러 스킬을 순차적으로 호출할 수 있으며, 이로 인해 한 스킬에서 생성된 정보가 다음 스킬을 안내하게 됩니다. 스킬은 오픈소스 저장소에서 가져올 수 있으므로, 이러한 정보 전달 과정에서 공격자가 제어하는 주장이 이후의 결정으로 이어질 수도 있습니다. 본 논문에서는 사용자 작업 및 공격자가 선택한 작업에 맞춰 적대적 스킬 체인을 구축하고 정제하는 APEX를 소개합니다. 핵심 통찰은 실제 작업 진행 상황에 대해 에이전트가 작성한 기록이 여러 스킬에 걸쳐 사용자 승인에 대한 거짓 주장을 전달할 수 있다는 점입니다. 즉, 상류(upstream) 스킬이 에이전트로 하여금 해당 기록을 생성하도록 유도하고, 하류(downstream) 스킬은 이를 활용하여 공격자가 선택한 작업을 지시합니다. SkillsBench의 4가지 표적 행동군과 6개 모델에 걸쳐 평가한 결과, 이러한 체인은 690회 시도 중 512회(74.2%)에서 선택된 작업을 유도했습니다. GPT-5.4의 경우, 전체 체인은 워크플로가 단일 스킬로 병합되었을 때의 17.4%와 비교하여 84.3%의 시도에서 성공했습니다. 나아가 스킬이 생성한 파일을 원본 요청과 대조하여 확인하도록 에이전트에게 요청하는 프롬프트 기반 방어 기법을 평가했습니다. GPT-5.4에서 이 방어는 표적 행동 성공률을 84.3%에서 59.1%로 낮추었으나, 72개의 정상 네이티브 스킬 작업에 대한 검증기 테스트 통과율 또한 86.7%에서 56.3%로 떨어졌습니다. 이러한 결과는 정당한 작업 성능을 보존하면서도 공격자가 지시한 작업을 방지하는 방어책의 필요성을 강조합니다.

arXiv:2607.19433v1cs.AI공통 태그 Adversarial Attack, Adversarial Robustness, agent security

Chronos 취약점: 에이전트형 AI에서의 시간적 지속성 및 메모리 기반 기만의 분류체계

The Chronos Vulnerability: A Taxonomy of Temporal Persistence and Memory-Based Deception in Agentic AI

인공지능에서 상태 비저장(stateless) 생성 모델에서 상태 저장(stateful) 자율 에이전트로의 전환은, 장기 계획 수립 능력과 기업 워크플로 자동화라는 역량을 제공하는 동시에 Chronos 취약점이라는 새로운 형태의 보안 위협을 도입하는 아키텍처적 진화를 나타낸다. Chronos 취약점은 메모리 주입 공격(MINJA)과 잠복 에이전트(sleeper agent) 등 메모리 기반 공격의 위협을 나타내며, 이 공격들에서는 자율 에이전트의 내부 신념 체계가 손상되어 공격 벡터가 최종적 치명적 사건과 효과적으로 분리된다. 본 연구는 지속성 기반 공격에 대한 위협 모델과 World of Workflows 벤치마크 맥락에서의 Dynamics Blindness 위협을 형식화하고, 기존 엔드포인트 콘텐츠 필터가 현재의 상태 저장 아키텍처에 불충분함을 보여준다. 이에 따라 본 연구는 심층 방어(defense-in-depth) 환경을 종합하여, 진단적 궤적 가드레일(AgentDoG), 형식적 시간적 검증(Agent-C), 면역학적 메모리 합의(A-MemGuard), GPU 기반 신뢰 실행 환경(TEE) 및 Zero-Trust 메모리 아키텍처를 통한 하드웨어 기반 신뢰와 같은 신흥 프레임워크를 분류한다.

arXiv:2610.10666v2cs.LG공통 태그 Adversarial Attack, Adversarial Robustness

적대적 학습된 신경망의 돌출도 맵 희소성에 대한 규명

Explaining the Saliency Map Sparsity of Adversarially-Trained Neural Networks

심층 신경망이 특정 예측을 수행하는 이유를 이해하는 것은 신경망의 안전한 배포를 위해 매우 중요합니다. 컴퓨터 비전(CV) 분야에서는 예측에 가장 큰 영향을 미치는 이미지 영역을 강조하는 돌출도 맵(saliency map)이 널리 사용되는 설명 방식으로 남아 있습니다. 한 가지 실증적 관찰 결과는 적대적 학습(adversarial training)된 신경망의 그래디언트 돌출도 맵에서 뚜렷한 희소성(sparsity)이 나타난다는 점입니다. 본 논문에서는 2개 층(layer) 렐루(ReLU) 네트워크를 대상으로 이러한 현상에 대한 이론적 설명을 제안합니다. 우리는 특정 손실 함수에서 유효한 것으로 밝혀진 적대적 학습과 가중치 감쇠(weight-decay) 페널티 및 적대적 전변동(total variation) 항이 추가된 경험적 위험 최소화 사이의 기존 동등성 관계를 기반으로 논의를 전개합니다. 데이터 포인트 수와 뉴런 수가 증가하고 정규화 매개변수가 적절한 비율로 0으로 수렴함에 따라, 최소화기(minimizer)가 최소 그래디언트 및 배런 노름(Barron norm)을 갖는 베이즈 분류기(Bayes classifier)로 수렴함을 증명합니다. $\ell_\infty$ 공격을 사용하는 적대적 학습의 경우 그래디언트 노름이 비등방적(anisotropic)이며 축에 정렬된/희소한 그래디언트를 선호하기 때문에 이러한 희소성이 나타납니다. 우리는 자연 학습된 모델과 적대적 학습된 모델의 그래디언트 $\ell_1$-노름 및 임계화된 희소성을 평가하여 이론적 발견을 실험적으로 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.