PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.39607v2cs.CR

Pretext: AI 에이전트 악성 스킬 탐지 프레임워크 무력화

Pretext: Defeating Malicious Skill Detection Frameworks for AI Agents

스킬은 컨텍스트에 인스트럭션과 정보를 주입하여 에이전트(agent)의 기능을 확장하며, OpenClaw 및 Claude Code와 같은 에이전트에서 널리 활용되고 있습니다. 선행 연구에 따르면 서드파티 마켓플레이스에는 공격자가 피해자의 에이전트에 직접적인 영향력을 행사할 수 있도록 하는 악성 스킬이 호스팅되고 있습니다. 이에 대응해 등장한 방어 기법은 NVIDIA의 SkillSpector와 같이 결정론적 정적 검사와 대규모 언어 모델(LLM) 기반 시맨틱 판별기를 결합하여 설치 전에 스킬을 스캔합니다. 본 논문에서는 탐지기를 파악하고 있는 공격자에게 이러한 방어 기법이 무력화됨을 보여줍니다. 화이트박스 LLM 공격자인 Pretext는 정상적인 작업을 수행하고 페이로드를 전달하면서도 탐지를 회피하는 스킬을 반복적으로 생성합니다. 즉, 페이로드를 코드에서 자연어로 이전하여 정적 분석을 무력화하고, 이를 스킬의 정당한 목적으로 위장하며 인스트럭션을 여러 파일에 걸쳐 분할함으로써 LLM 단계의 차단 임계값 미만으로 유지합니다. 3개의 오픈소스 모델 전반에 걸쳐 Pretext는 고정된 탐지기와 상호 적응형(co-adaptive) 탐지기에 대해 각각 최대 97% 및 77%의 회피율을 달성하여, 현재 스킬 스캐너의 중대한 결함을 드러냅니다.

arXiv:2610.00797v1cs.AI

Sapien: 자율 AI 에이전트를 위한 상태 기반 정책 엔진

Sapien: A Stateful Policy Engine for Autonomous AI Agents

문맥 기반 보안 방어(contextual security defense)는 작업별 정책을 합성하고 이를 에이전트의 도구 호출에 적용함으로써 AI 에이전트(agent)가 비정상적인 행동을 하지 못하도록 방지합니다. 그러나 다단계 작업에서는 어떤 행동이 유효한지가 에이전트가 이미 수행한 작업과 학습한 내용에 따라 달라지는 경우가 많습니다. 본 논문에서는 상태 기반(stateful) 문맥 정책을 적용하기 위한 정책 엔진인 Sapien을 제시합니다. Sapien 정책은 상태 기반 술어(stateful predicate), 지연 정책 생성(deferred policy generation), 범위 한정 의미론적 검사(scoped semantic check)로 확장된 정규 표현식을 사용하여 허용된 도구 호출 시퀀스를 지정합니다. 실험을 통해 Sapien이 제약 없는 에이전트의 유용성(utility)과 비교했을 때 수 퍼센트 이내의 성능을 유지함을 보입니다. 에이전트가 완전히 탈취되더라도, Sapien의 정책은 AgentDojo에서 공격의 93~95%, Toolathlon에서 62~85%를 차단합니다(장기적 작업(long-horizon tasks)에서 도구 허용 목록 대비 2배 많은 수치).

arXiv:2610.00347v1cs.CR

자기 수정 AI 에이전트 집단을 위한 인가: 교체, 포킹, 롤백 전반에 걸친 권한 보존

Authorization for Self-Modifying AI Agent Populations: Conserving Authority across Replacement, Forking, and Rollback

자기 수정(self-modifying) AI 에이전트는 후손이 계속 실행 가능한 상태를 유지하면서도 식별성을 지닌 소프트웨어를 교체(replace), 포크(fork), 롤백(roll back)할 수 있습니다. 그러나 후계자별(per-successor) 인가(authorization) 방식은 그로 인해 발생하는 에이전트 집단을 제약하지 못합니다. 즉, 형제 개체들이 쿼터를 복제하거나, 권한을 결합하거나, 조상 차단(ancestor cut) 후에도 살아남거나, 승격 도중 이전 개체와 중첩될 수 있습니다. 본 연구에서는 단일 부모 세대 포레스트(forest)의 활성 프런티어 전반에서 권한을 보존하는 '인가 승계(authorization succession)'를 정의합니다. 본 논문의 외부 프로토콜은 각 세대를 매니페스트, 루트, 고유한 부모, 완전한 계통(lineage), 새로운 집단 시퀀스에 바인딩합니다. 서로 독립적인 불변조건(invariants)을 통해 루트 생애주기 동안의 소비량과 현재 집단 노출을 제한합니다. 단계별 예약(staged reservation)을 통해 교체 중 이전 개체의 잔여 권한을 동결하는 한편, 분할 포크(partitioning fork)를 통해 완전한 자식 패밀리를 검증합니다. 각 커밋은 원자적(atomically)으로 이전 개체에 펜스를 치고 후계자들을 활성화합니다. 조상 차단은 종속된 후손들을 무효화하며, 롤백은 이미 소진된 권한을 복구하지 않고 새로운 세대를 생성하며, 새로운 루트는 독립적인 승인 부여를 요구합니다. 완전한 매개(complete mediation), 인증된 레코드, 건전한 효과 추상화(sound effect abstraction), 지속적인 단조 상태(durable monotone state), 완전한 계통 회계 처리를 바탕으로, 집단 안전 승계(population-safe succession), 포크 보존, 폐기 폐쇄(revocation closure), 원자적 인계, 롤백 시 재발행 방지(non-reminting), 자체 인증 배제를 증명합니다. 실행 가능한 평가는 직접 호출 및 메일박스 매핑을 통해 등록된 32개의 결정을 다룹니다(64/64 재생, 28건 허용, 36건 거부). 독립적인 검사기는 64개의 원본 트레이스를 모두 수락하고 28/28개의 의미론적 변연체(semantic mutants)를 거부하며, 12/12 프로파일 불변조건, 16/16 충돌 차단, 32/32 경쟁자 스케줄을 통과합니다. 두 개의 외부 어댑터는 새로운 프로세스 재시작, 원자적 승계, 이전 개체 거부를 포함하여 측정된 OurArk 및 Darwin Godel Machine 돌연변이 전반에서 32개의 결정을 모두 재현합니다. 이러한 결과는 등록된 보호 효과에 대한 인가 승계의 유효성을 입증합니다.