PyTorchKR Papers

최신 논문

총 16편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.30614v2cs.CR

작성자가 아닌 대상: 에이전틱 데이터스페이스에서의 작성자성 위험

Subjects, Not Authors: The Authorship Hazard in Agentic Dataspaces

데이터스페이스 커넥터는 전송된 값에 무엇이 포함되어 있는지가 아니라 전송 발생 여부만을 결정하는데, 이는 계약된 애플리케이션에서는 허용될 수 있지만 도구 호출(tool call)을 구성하는 대규모 언어 모델(LLM) 에이전트(agent)에게는 그렇지 않습니다. 거버넌스 아티팩트를 생성하는 에이전트에 관한 연구는 아티팩트 사용을 누가 승인할 수 있는지가 아니라 출력 품질만을 평가합니다. 게시된 정책은 결정 지점이 강제하는 대상이므로 게시 자체는 하나의 거버넌스 이벤트이며, 정책의 대상(subject)이자 정책의 작성자(author)인 에이전트는 자신을 구속하는 규범을 직접 작성하게 됩니다. 본 연구에서는 이를 작성자성 위험(authorship hazard)이라 명명하고 한 가지 원칙을 제시합니다. 즉, 에이전트는 거버넌스 평면의 대상일 뿐 결코 그 작성자가 될 수 없다는 것입니다. 에이전트의 게시 권한 부여 경로는 구조적으로 차단되며, 인간이 승인할 내용을 초안 작성하는 에이전트의 영향력 경로는 집행의 문제가 됩니다. 본 논문의 실행 계약에 대해 사전에 등록된 90건의 수정 사항(각각 344,512건의 요청에 대해 평가됨) 중, 필드 재분류만을 수행하는 6건은 정책 텍스트를 건드리지 않고도 모두 권한 부여를 변경하고 의무를 축소했으며, 정책 차분(policy-diff) 분류기는 이 6건을 모두 통과시킵니다. 문자 그대로 해석할 경우 권한 델타(privilege-delta) 조건은 69건의 유효한 정책 텍스트 수정 중 33건을 통과시키지만, 모든 완화를 포괄하는 것으로 해석하면 한 건도 통과시키지 않습니다. 분류를 작성 행위로 취급하면 이 6건이 모두 검토로 전달되지만, 이에 필요한 레지스트리는 아직 구축되지 않았습니다. 실행 경계에서 보호된 필드는 프롬프트(prompt)로 명시된 의무 조건에서는 105건 중 105건 모두 모델(model)에 도달한 반면, 컴파일된 도구 호출 제약 조건에서는 105건 중 0건에 도달했으나 지정된 필드 외부의 값은 7건 중 7건 모두에서 노출되었습니다. 측정된 검토 비율에서 중앙 승인 풀은 참가자 20명에서 138명당 1명의 승인자를 필요로 합니다.

arXiv:2512.11147v2cs.CR

MiniScope: 최소 권한을 통한 에이전트 인가

MiniScope: Authorizing Agents with Least-Privilege Permissions

AI 에이전트(agent)가 민감한 사용자 데이터 및 타사 서비스에 자율적으로 접근하는 경우가 점점 늘어남에 따라, 효과적인 권한 관리가 핵심적인 보안 과제로 대두되고 있습니다. 그러나 기존 권한 모델(model)은 보안성과 사용 편의성 간의 균형을 맞추지 못하는 평면적 권한 구조에 의존하는 경우가 일반적입니다. 세분화된 확인 방식은 사용자의 피로를 유발하는 반면, 조잡한 단위의 승인이나 영구적인 승인은 에이전트에 과도한 권한이 부여되는 문제를 초래합니다. 이러한 트레이드오프를 해결하기 위해, 본 연구에서는 모든 도구 호출마다 별도의 권한 결정을 요구하는 대신 에이전트를 특정 작업 역할 내에서 작동하는 대리인으로 취급하는 작업 중심의 계층적 권한 모델을 제안합니다. 이 모델을 기반으로, 권한 계층 탐색을 자동화하고 런타임에 문맥적 최소 권한을 강제하는 엔드투엔드 에이전트 권한 시스템인 MiniScope를 제시합니다. 평가 결과, MiniScope는 도구별 프롬프트 방식에 비해 신중한 페르소나 및 일반적인 페르소나에서 시뮬레이션된 권한 확인 횟수를 43.4%~89.4% 줄였으며, 유용성과 런타임에 미치는 영향을 최소화하면서 모든 권한 상승 공격을 완화했습니다. 실제 환경에 적용했을 때, MiniScope는 ChatGPT와 Claude에서 6개의 과도한 권한이 부여된 커넥터 설정을 추가로 발견했습니다.

arXiv:2610.00371v1cs.MA

비활성화 없는 거부: 다중 에이전트 시스템을 위한 권한 결합 평가 및 제어

Deny Without Disabling: Authorization-Paired Evaluation and Control for Multi-Agent Systems

다중 에이전트(multi-agent) 시스템은 증거를 공유하고, 작업을 위임하며, 여러 에이전트에 걸쳐 정보를 결합함으로써 역량을 이끌어냅니다. 그러나 동일한 프로세스가 안전성(safety) 문제를 야기합니다. 단독으로는 허용되는 기여들이 결합하여 금지된 사용을 가능하게 만들 수 있기 때문입니다. 모든 민감한 작업을 차단하면 정보 유출은 방지되지만 협업의 목적이 훼손됩니다. 본 논문에서는 금지된 사용의 차단과 필요한 인가된 사용의 완료를 결합 성공 기준으로 삼는 권한 결합 평가(authorization-paired evaluation)와, 객체 확인(object resolution), 권한 순위화(permission ranking), 결정론적 집행(deterministic enforcement)을 연결하는 프레임워크인 FlowReview를 소개합니다. 통제된 결합 실험에서 결합된 산출물을 검토함으로써 인가된 공급의 손실 없이 거부된 커밋 비율을 86.0%에서 0으로 줄였습니다. 본 연구 결과는 정보와 계통(lineage)을 보존하는 것만으로는 올바른 권한 귀속을 보장하지 못함을 보여줍니다. 출력을 검증할 수 있는 컴포넌트를 통해 객체 식별성과 권한이 실행과 계속 연결되어 있어야 합니다. 종합적으로, 이러한 결과는 다중 에이전트 안전성에 대한 시스템 수준의 요구사항을 확립합니다. 즉, 협업을 유용하게 만드는 인가된 역량을 보존하면서 구성된 정보 흐름을 통제해야 한다는 점입니다.

arXiv:2610.00347v1cs.CR

자기 수정 AI 에이전트 집단을 위한 인가: 교체, 포킹, 롤백 전반에 걸친 권한 보존

Authorization for Self-Modifying AI Agent Populations: Conserving Authority across Replacement, Forking, and Rollback

자기 수정(self-modifying) AI 에이전트는 후손이 계속 실행 가능한 상태를 유지하면서도 식별성을 지닌 소프트웨어를 교체(replace), 포크(fork), 롤백(roll back)할 수 있습니다. 그러나 후계자별(per-successor) 인가(authorization) 방식은 그로 인해 발생하는 에이전트 집단을 제약하지 못합니다. 즉, 형제 개체들이 쿼터를 복제하거나, 권한을 결합하거나, 조상 차단(ancestor cut) 후에도 살아남거나, 승격 도중 이전 개체와 중첩될 수 있습니다. 본 연구에서는 단일 부모 세대 포레스트(forest)의 활성 프런티어 전반에서 권한을 보존하는 '인가 승계(authorization succession)'를 정의합니다. 본 논문의 외부 프로토콜은 각 세대를 매니페스트, 루트, 고유한 부모, 완전한 계통(lineage), 새로운 집단 시퀀스에 바인딩합니다. 서로 독립적인 불변조건(invariants)을 통해 루트 생애주기 동안의 소비량과 현재 집단 노출을 제한합니다. 단계별 예약(staged reservation)을 통해 교체 중 이전 개체의 잔여 권한을 동결하는 한편, 분할 포크(partitioning fork)를 통해 완전한 자식 패밀리를 검증합니다. 각 커밋은 원자적(atomically)으로 이전 개체에 펜스를 치고 후계자들을 활성화합니다. 조상 차단은 종속된 후손들을 무효화하며, 롤백은 이미 소진된 권한을 복구하지 않고 새로운 세대를 생성하며, 새로운 루트는 독립적인 승인 부여를 요구합니다. 완전한 매개(complete mediation), 인증된 레코드, 건전한 효과 추상화(sound effect abstraction), 지속적인 단조 상태(durable monotone state), 완전한 계통 회계 처리를 바탕으로, 집단 안전 승계(population-safe succession), 포크 보존, 폐기 폐쇄(revocation closure), 원자적 인계, 롤백 시 재발행 방지(non-reminting), 자체 인증 배제를 증명합니다. 실행 가능한 평가는 직접 호출 및 메일박스 매핑을 통해 등록된 32개의 결정을 다룹니다(64/64 재생, 28건 허용, 36건 거부). 독립적인 검사기는 64개의 원본 트레이스를 모두 수락하고 28/28개의 의미론적 변연체(semantic mutants)를 거부하며, 12/12 프로파일 불변조건, 16/16 충돌 차단, 32/32 경쟁자 스케줄을 통과합니다. 두 개의 외부 어댑터는 새로운 프로세스 재시작, 원자적 승계, 이전 개체 거부를 포함하여 측정된 OurArk 및 Darwin Godel Machine 돌연변이 전반에서 32개의 결정을 모두 재현합니다. 이러한 결과는 등록된 보호 효과에 대한 인가 승계의 유효성을 입증합니다.

arXiv:2609.26900v1cs.CR

Ajar: Measuring Open Privilege in Agent Defenses

A language model agent acts through the tools it is given. The data it reads while working on a task can redirect what it does with those tools. A growing set of techniques for safe and secure agent execution therefore sits between the agent and its tools, aiming to enforce access control, information flow or isolation at that boundary. Today these techniques are evaluated on agent-security benchmarks built around indirect prompt injection. Those benchmarks judge a defense by how far it brings the number of successful attacks down while preserving the agent's utility. A defense is judged only on the agent's execution. It can score well on both metrics while holding open a transfer, a deletion or a broad read that no task needed. Ajar measures that open privilege directly using the existing benchmarks. It attaches to an agent-security benchmark that already exists and reuses the tasks, tool schemas, reference solutions and goal states that benchmark uses to grade its own runs. For each benign task it builds candidate tool calls the task does not need, so allowing one is privilege left open. These calls are presented to the defense at every point where the agent could act. We evaluate Ajar by attaching it to AgentDojo, where open privilege becomes a third axis beside the existing attack success and benign utility. We run it on five defenses: Progent, CaMeL, AC4A, Permission Assistant, and Claude Code's Auto mode. We observed that they leave widely different amounts of privilege open. Two defenses leak by almost the same amount yet differ widely in the benign tasks they finish, and one defense buys part of its tightness by refusing calls its tasks were entitled to make. This open privilege cannot be derived from the measured attack success or benign utility. The source code of Ajar is available at https://github.com/reSHARMA/Ajar.

arXiv:2609.24036v1cs.AI

신뢰할 수 있는 LLM 생성 접근 제어 정책을 위한 구조화된 분해

Structured Decomposition for Reliable LLM-Generated Access Control Policies

본 논문은 자연어 접근 제어 정책(NLACP)을 Open Policy Agent(OPA)용 실행 가능한 Rego 코드로 변환하는 LLM 기반 시스템을 제시한다. 정책 탐지, 구성 요소 추출, 스키마 검증, 린팅, 컴파일, 자동화된 테스트 생성 및 실행을 포함하는 모듈형 end-to-end 파이프라인을 제공한다. 이 시스템은 사람이 읽을 수 있는 접근 요구사항과 기계적으로 집행 가능한 policy-as-code(PaC) 사이의 간극을 메우도록 설계되었으며, 배포 신뢰성과 보안 정확성에 초점을 둔다. 구조화된 분해와 스키마 인식 검증의 기여를 분리하기 위해, subject·action·resource 주석이 비어 있지 않은 372개의 ACRE-complete 접근 제어 문장에 대해 단일 프롬프트 LLM 기준선과 비교하여 시스템을 평가한다. 시스템은 end-to-end 정책 정확도 50.3%를 달성했으며, 기준선 15.3% 대비 3.3배 개선이다. 정책은 컴파일, 린팅, 양성·음성 테스트를 모두 만족할 때만 올바른 것으로 집계하므로, 이는 배포 가능한 정확성에 대한 엄격한 척도이다. 보안에 중요한 패턴에서, 시스템은 deny 정책의 87.5%에 대해 올바른 deny 의미론을 생성했고(기준선: 37.5%), 소유권 조건이 붙은 정책 100%에 대해 소유권 조건을(기준선: 40%), 상태 한정 조건이 붙은 정책 100%에 대해 상태 한정 조건을(기준선: 55.6%) 생성했다. 이 결과는 구조화된 분해와 스키마 인식 검증이 LLM 생성 인가 정책의 신뢰성 향상에 핵심적인 역할을 함을 시사한다.

arXiv:2607.22611v1cs.AI

중요 인프라에서 에이전트형 AI 시스템을 위한 분산형 세분화 접근 제어

Decentralized Granular Access Control for Agentic AI Systems in Critical Infrastructure

프로덕션 인프라에 자율 AI 에이전트를 배치하면, 기존 역할 기반 접근 제어(RBAC) 모델로는 해결할 수 없는 근본적인 보안 과제가 발생한다. 결정론적 자동화와 달리 AI 에이전트는 확률적(stochastic) 행동을 보이므로, 중요 시스템에 대한 접근을 통제하기에 기존 신뢰 모델로는 불충분하다. 본 논문은 중요 클라우드 인프라에서 운영되는 에이전트형 AI 시스템을 위해 특별히 설계된 분산형 다계층 접근 제어 아키텍처를 제시한다. 우리 프레임워크는 네 가지 핵심 혁신을 도입한다: (1) 에이전트 행동을 위임된 인간 권한에 연결하는 복합 신원 모델, (2) 글로벌 플랫폼 접근부터 매개변수별 제약까지 다섯 단계의 세분화 수준에 걸친 계층적 권한 시스템, (3) 도구 팀이 각자의 인가 경계를 독립적으로 관리하는 분산형 정책 소유 모델, (4) 자율 에이전트가 고위험 작업을 실행하지 못하도록 하는 안전성 인터록(safety interlocks)을 갖춘 점진적 신뢰 상승. 우리는 설계를 대규모 언어 모델(LLM) 애플리케이션용 OWASP Top 10(2025) 위협 분류체계에 기반을 두고, 각 아키텍처 결정이 특정 공격 벡터를 어떻게 완화하는지 보여준다. 수백 개의 데이터센터에 걸친 네트워크 인프라를 관리하는 주요 클라우드 제공업체의 프로덕션 환경에 배포된 본 시스템은, 20개 이상의 전문 AI 에이전트와 60개 이상의 결정론적 플레이북에 대해 세분화된 접근 제어를 시행하며, 매일 수천 건의 작업을 처리하면서 8개월간의 프로덕션 배포 기간 동안 무단 쓰기 작업을 0건으로 유지했다. 우리는 접근 패턴 분포, 거부율, 그리고 비결정론적 행위자에 의한 권한 상승을 방지하는 다층 인가의 효과에 대한 실증 데이터를 제시한다.

arXiv:2607.22445v1cs.AI

기업 AI 에이전트를 위한 동적 권한 범위 지정: 합성 데이터셋과 3원천 권한 아키텍처

Dynamic Capability Scoping for Enterprise AI Agents: A Synthetic Dataset and Three-Source Permission Architecture

기업 AI 에이전트는 일반적으로 구성 시점에 정적 자격 증명 집합이 부여되며, 수행하는 모든 작업에 대해 해당 역할이 필요할 수 있는 모든 도구를 보유한다. 이러한 지속적인 과도한 권한은 공격 표면을 확대한다. 우리는 권한 범위 지정(capability scoping)이 동적 최소 권한 원칙을 따라야 하며, 탐지 메커니즘보다 예방 메커니즘으로 취급되어야 한다고 주장한다. 에이전트의 컨텍스트에 존재하지 않는 자격 증명은 에이전트의 추론이나 회피 정교함과 관계없이 오용될 수 없다. 우리는 이 원칙을 구현하는 3원천 아키텍처를 개요한다: 역할 기반 상한, 작업 컨텍스트 분류기, 정책 기반 조합 금지가 LLM 에이전트의 정렬 실패(misalignment) 및 오용 사례에 대한 계층적 선제적 방어를 형성한다. 이 아키텍처는 강제(enforcing) 및 관찰 전용(observe-only) 배포를 모두 지원한다. 후자는 작업 컨텍스트와 일치하지 않는 에이전트의 권한 요청을 기록하여, 정렬 실패(misalignment) 연구에 활용할 수 있는 행동 신호를 생성한다. 이 아키텍처를 평가하기 위한 첫 단계로, 우리는 다부서 회사 정책에 기반한 600개의 기업 작업 프롬프트로 구성된 합성 데이터셋을 기여한다. 이 데이터셋은 배포 가능한 자격 증명 또는 강제 가능한 가드레일에 직접 매핑되는 15개 권한 도구 기반 분류 체계에 걸쳐 최소 필요 권한으로 라벨링되어 있다. 데이터셋은 순환성을 피하기 위해 프롬프트 생성과 권한 라벨링을 분리한 2단계 파이프라인으로 구성되며, 60개 레코드/688개 결정에 대한 인간 검토 샘플에 대해 검증되었다(Cohen's $κ= 0.917$ 사전 검토, $κ= 0.967$ 사후 검토). 데이터셋과 정책 간 반복 작업은 상한 위반을 46건에서 3건으로 줄였으며, 93% 감소를 달성했다. 이는 두 요소를 함께 개발할 때 합성 프롬프트 생성이 정책 개선을 이끌 수 있음을 보여준다. 데이터셋, 환경 명세, 생성 파이프라인은 동적 범위 지정 메커니즘의 평가를 지원하기 위해 공개된다.

arXiv:2607.13718v1cs.CR

에이전트는 어떻게 권한을 요청하는가: 인터페이스부터 시행까지 AI 에이전트의 사용자 권한

How Agents Ask for Permission: User Permissions for AI Agents, from Interfaces to Enforcement

AI 에이전트가 점점 더 보편화됨에 따라 사용자는 이러한 시스템이 수반하는 위험에 점점 더 많이 노출되고 있다. 프롬프트 인젝션 공격은 물론 환각(hallucination) 또한 에이전트가 개인정보를 제3자에게 유출하도록 만들 수 있다. 자율 시스템으로서 에이전트는 또한 사용자의 의도나 승인 없이 은행 거래와 같은 민감한 작업을 수행한다는 더 적극적인 위험을 제기한다. 이러한 과제를 인식하여, 에이전트 보안(agentic security) 커뮤니티는 보안 에이전트 시스템을 위한 수많은 제안을 개발해 왔다. 이 연구의 상당 부분은 제품 수준의 접근에 초점을 맞춰왔으며, 여기서는 에이전트 시스템 개발자가 모든 사용자에게 동일한 보안 정책과 권한을 결정하고 적용한다. 그러나 사용자마다 요구와 선호가 다르므로, 에이전트 AI 시스템에서 사용자 수준의 권한 정책을 지원할 필요가 있다. AI 에이전트 시스템에서 사용자 수준의 권한이 어떻게 처리되는지 이해하기 위해, 우리는 에이전트 권한 시스템에 대한 21건의 제안을 조사한다. 이 검토를 바탕으로, 서로 다른 시스템이 사용자 수준의 권한 정책을 사용자 인터페이스와 내부적으로 어떻게 명세하는지, 사용자 입력으로부터 내부 정책을 어떻게 도출하는지, 그리고 실행 시점(run-time)에 해당 정책을 어떻게 시행(enforcement)하는지에 대한 분류체계를 구축한다. 그런 다음 우리는 다섯 개의 주목할 만한 상용 에이전트를 분석하고, 이들의 권한 처리 방식을 문헌의 에이전트 권한 시스템과 비교한다. 우리는 문헌과 상용 에이전트 전반에 걸쳐 여러 고수준 주제를 확인하고, 향후 연구가 필요한 여러 공백을 식별한다.

arXiv:2607.09744v1cs.AI

AI에서의 최소 자율성 이론

A Theory of Least Autonomy in AI

최소 권한(least privilege)은 신원이 자신의 작업에 엄격히 필요한 권한만을 보유해야 한다는 원칙으로, 수십 년간 접근 제어의 근본적인 기초 개념이었다. 우리는 이 원칙이 에이전트형 AI 시스템에는 불충분하다고 주장한다. 에이전트형 AI 시스템은 단순히 권한을 보유하는 것이 아니라 워크플로우와 시스템 경계를 넘어 권한을 조합하고, 승인하고, 증폭시킬 수 있기 때문이다. 우리는 최소 자율성(least autonomy)을 적절한 일반화로 제안하고 형식적 이론을 전개한다. 첫째, 우리는 기업 계층 구조 내 행위들 간의 구조적 분리를 측정하는 합성적 폭발 반경(compositional blast radius) d(a,b)를 정의한다. 이는 울트라메트릭 트리(ultrametric tree)와 격자값 기밀성(confidentiality), 무결성(integrity), 제어 컨텍스트 레이블을 결합한다. 둘째, 우리는 방향성 에이전트 영향 그래프 G(theta)를 정의한다. U에서 V로의 아크는 방향성 공유 자원 쓰기-읽기 교점(write-to-read meeting) 또는 보수적 무방향 에이전트-간(A2A) 통신 교점, 그리고 외부에서 선택된 정책 임계값 theta 이상의 교점 조건부 영향 잠재력을 필요로 한다. 카탈로그 반경 프로파일은 theta의 보정과 감사를 지원한다. 마지막으로, 우리는 그래프 도달 가능성에 대한 공모 술어(collusion predicate)를 정의하여 권한 합성, 의사결정 조작, 교차 도메인 역량 합성을 탐지한다.

arXiv:2607.08077v1cs.LG

모듈식 사전학습을 통한 접근 제어 구현

Modular Pretraining Enables Access Control

AI 개발자들은 이중 사용(dual-use) 딜레마에 직면해 있다. 한 사용자가 질병을 치료하는 데 도움이 되는 AI 기능이 다른 사용자에게는 질병을 합성하는 데 악용될 수 있다. 이 딜레마는 정당한 필요가 있는 신뢰할 수 있는 배포 환경에만 이중 사용 AI 기능을 제한하는 접근 제어(access control)를 통해 해결될 수 있다. 접근 제어의 황금 표준은 서로 다른 사용자에게 서로 다른 기능을 가진 별도의 모델을 제공하는 것이다. 그러나 여러 모델을 학습하고 배포하는 것은 비용이 지나치게 많이 든다. 이 문제를 해결하기 위해, 우리는 신경망에 모듈을 추가하고 이를 선택적으로 업데이트하여 전문화를 유도하는 사전학습 방법인 그래디언트 라우팅 보조 모듈(GRAM, gradient-routed auxiliary modules)을 제안한다. 추론 시 모듈을 제거(ablating)하면 해당 기능이 네트워크에서 제거되며, 이는 필터링된 데이터로 학습된 모델에 근사한다. 우리는 바이러스학, 사이버보안, 핵물리학, 특수 코드를 포괄하는 합성 스토리와 현실적인 이중 사용 데이터에서 GRAM을 평가한다. 이 실험들은 GRAM이 나머지 기능을 보존하면서 목표 기능을 비활성화하고, 사후(post-hoc) 언러닝(unlearning)보다 파인튜닝을 통한 기능 복원에 더 잘 저항함을 보여준다. 가장 중요한 것은, 5천만에서 50억 파라미터에 걸친 Chinchilla-최적 스케일링 분석에서, 데이터 필터링 모델과 전체 데이터 모델 간의 격차가 제거된 기능에서는 규모가 커질수록 넓어지지만 유지된 기능에서는 작게 유지되며, GRAM이 데이터 필터링을 밀접하게 추적함을 보여준다. GRAM의 학습 비용은 지원되는 기능 프로파일 수에 독립적이며, 5개 프로파일 설정에서 데이터 필터링 대비 5배의 비용 절감을 달성한다.

arXiv:2607.05353v1cs.CR

대규모 언어 모델을 위한 선택적 공개 워터마킹

Selective Disclosure Watermarking for Large Language Models

워터마킹 방법은 대규모 언어 모델(LLM)이 생성한 텍스트에 감지할 수 없으면서도 검증 가능한 신호를 임베딩한다. 기존 접근법으로는 합성 텍스트와 인간 작성 텍스트를 구분하는 제로비트(zero-bit) 방식과 메타데이터를 임베딩하는 멀티비트(multi-bit) 방식이 있다. 그러나 현재의 멀티비트 워터마킹 방법은 선택적 공개를 지원하지 않는다. 즉, 워터마크의 일부를 검증하려면 임베딩된 메시지 전체를 공개해야 한다. 이러한 제어 불가능성은 불필요한 정보 노출을 초래하고 프라이버시 문제를 야기한다. 본 논문에서는 임베딩된 메타데이터의 선택적 공개를 가능하게 하는 워터마킹 프레임워크인 계층적 어휘 라우팅(Hierarchical Vocabulary Routing, HeRo)을 제안한다. 이 방법은 어휘를 재귀적으로 분할하고 워터마크 정보를 계층적 레이어에 분산시켜, 서로 다른 검증자가 자신의 접근 수준에 해당하는 페이로드 부분만을 디코딩할 수 있도록 한다. 제안된 방식이 기반 샘플링 프로세스의 비편향성을 보존하여 텍스트 품질을 유지함을 증명한다. 실험을 통해 본 프레임워크가 세밀한 접근 제어를 지원하면서도 높은 탐지 정확도와 낮은 지연 시간을 달성함을 입증한다. 코드는 https://github.com/xuyangc03/hero-watermark 에서 공개되어 있다.

arXiv:2606.26627v1cs.CR

너무 많이 아는 에이전트: LLM 에이전트 프라이버시에 대한 데이터 중심 서베이

Agents That Know Too Much: A Data-Centric Survey of Privacy in LLM Agents

LLM 에이전트가 데이터베이스·문서·API·메모리 등 민감한 데이터 표면을 다루며 작동할 때 프라이버시가 최종 답변을 넘어 쿼리·중간 결과·세션 간 상태·에이전트 간 메시지 등 실행 전반에서 유출될 수 있음을 데이터 중심 관점으로 정리한 서베이로, 데이터 소스·위험·거버넌스 메커니즘을 분류하고 벤치마크 공백을 분석한다. 거버넌스 중 정보 흐름 제어(information-flow control)만 구성적·세션 간 추론 유출을 모두 다루며, 하나의 프라이버시 정책 아래 데이터 표면 전반을 평가하는 통합 벤치마크가 부재하다는 점이 핵심 발견이다.

arXiv:2606.20520v1cs.CR

주권형 실행 브로커: 에이전트 제어 평면에서 인증서 기반 권한 강제 적용

Sovereign Execution Brokers: Enforcing Certificate-Bound Authority in Agentic Control Planes

자율 에이전트(Autonomous agents)는 클라우드, 배포, 데이터 제어 워크플로우와 점점 더 긴밀하게 연결되고 있으나, 프로덕션 변경(mutation) 권한은 비결정적 추론 과정 내에 두어서는 안 됩니다. 기존 접근 제어 메커니즘은 신원을 권한 부여하고 보증 레이어는 제안된 행동을 인증하지만, 이 두 가지 중 어느 것도 단독으로는 변경 시점에 인증된 권한에 대한 필수 강제 실행 지점을 제공하지 못합니다. 본 논문은 인증서 기반 에이전트 인프라를 위한 런타임 강제 경계인 주권형 실행 브로커(Sovereign Execution Broker, SEB)를 소개합니다. SEB는 주권형 보증 경계(Sovereign Assurance Boundary, SAB)가 발급한 인증서를 사용하여 요청된 변경이 인증된 실행 계약과 일치하는지 확인하고, 유효 기간, 정책 에포크(policy epochs), 폐기 에포크(revocation epochs), 실시간 상태 드리프트(live-state drift)를 검사하며, 범위 지정 실행 ID를 생성하고, 인프라 API를 호출한 후 서명된 결정 및 결과 레코드를 기록합니다. 제안, 승인, 실행을 분리함으로써 SEB는 프로덕션 변경 API가 브로커가 아닌 신원을 거부한다는 조건 하에, 인증된 권한을 단기적이고 취소 가능하며 감사 가능한 런타임 기능으로 전환합니다. SEB 실행 모델, 인증서 및 재생 검증 술어(replay-verification predicates), 범위 지정 ID 의미론, 우회 방지 배포 패턴, 실패 동작, 그리고 구체적인 프로토타입 구현을 제시합니다. AWS 및 쿠버네티스 클러스터에서 프로토타입을 평가하여 지연 시간 오버헤드, 폐기 전파, 드리프트 감지, 결함 주입(fault injection) 하의 보안을 측정합니다.

arXiv:2606.19803v1cs.DB

정책 인식 벡터 검색: 벡터 데이터베이스에서의 세분화된 접근 제어에 대한 비전

Policy-aware Vector Search: A Vision for Fine Grained Access Control in Vector Databases

벡터 데이터베이스는 검색 증강 생성(RAG) 및 조직 내 AI 파이프라인과 함께 보안 민감 환경에서 점점 더 많이 사용되고 있으나, 보안 기능은 여전히 제한적입니다. 구체적으로, 데이터 접근이 사용자별 정책을 준수하도록 보장하는 데 필요한 세분화된 접근 제어(FGAC)는 최신 벡터 데이터베이스에서 완전히 지원되지 않습니다. 관계형 데이터베이스와 달리, 벡터 데이터베이스는 구조화 및 비구조화 속성을 결합하여 의미론적이고 근사적인 쿼리 결과를 제공하므로 FGAC 구현이 복잡해집니다. 이로 인해 FGAC 정책을 올바르게 강제하는 것, 높은 ANN(근사 최근접 이웃) 검색 재현율을 달성하는 것, 그리고 낮은 쿼리 지연 시간을 유지하는 것 사이에 본질적인 상충 관계가 발생합니다. 본 논문에서는 벡터 데이터베이스 내 FGAC 정책 모델과 강제 문제를 형식화하여 정책 인식 벡터 검색에 대한 비전을 제시합니다. 다양한 강제 전략을 비교하고 예비 연구 결과를 제시하며, 정책 인식 벡터 검색의 향후 연구를 위한 주요 미해결 과제를 식별합니다.

arXiv:2606.18829v1cs.LG

GateMem: 다중 주체 공유 메모리 에이전트에서의 메모리 거버넌스 벤치마킹

GateMem: Benchmarking Memory Governance in Multi-Principal Shared-Memory Agents

LLM(대규모 언어 모델) 에이전트를 위한 메모리 벤치마크는 대부분 단일 사용자 설정을 가정하므로, 병원, 직장, 캠퍼스 및 가정을 위한 공유 어시스턴트에 대한 연구는 부족합니다. 이러한 배포 환경에서는 여러 주체가 공통 메모리 풀에 기록하고 서로 다른 역할, 범위 및 관계에 따라 쿼리하므로, 메모리 품질에는 재현율(recall)뿐만 아니라 거버넌스도 필요합니다. 우리는 다중 주체 공유 메모리 에이전트를 위한 벤치마크인 GateMem을 소개합니다. GateMem은 상태 업데이트가 포함된 합법적인 장기(long-horizon) 요청에 대한 유용성, 문맥적 인증 경계를 넘나드는 접근 제어, 그리고 명시적인 삭제 요청 후 에이전트 대상 능동적 망각을 종합적으로 평가합니다. 이 벤치마크는 의료, 사무실, 교육 및 가정 도메인을 아우르며, 장문의 다자 에피소드, 점진적 메모리 주입, 숨겨진 체크포인트, 구조화된 판정, 누출 대상 주석을 포함합니다. 다양한 기준선(baseline)과 백본(backbone) 모델에 걸친 실험 결과, 어떤 방법도 강력한 유용성, 견고한 접근 제어, 신뢰할 수 있는 망각을 동시에 달성하지 못했습니다. 롱컨텍스트 프롬프팅(long-context prompting)은 높은 토큰 비용을 들여 종종 최고의 거버넌스 점수를 얻지만, 검색 기반 및 외부 메모리 방법은 비용을 줄이면서도 여전히 승인되지 않거나 삭제된 정보를 누출합니다. 이러한 결과는 현재 메모리 에이전트가 신뢰할 수 있는 공유 기관 배포 수준에는 여전히 미치지 못함을 보여줍니다.