arXiv:2606.19464v1 cs.AI

에이전트형 AI 시스템의 런타임 거버넌스를 위한 의무론적 정책

Deontic Policies for Runtime Governance of Agentic AI Systems

Anupam Joshi, Tim Finin, Karuna Pande Joshi, Lalana Kagal

제출 2026-06-17

한국어 초록

대규모 언어 모델(LLM)에 의해 구동되는 자율적인 에이전트형 AI 시스템은 보안, 프라이버시 및 규정 준수와 관련된 새로운 유형의 문제를 야기합니다. 도구를 호출하고, 데이터를 조작하며, 소프트웨어를 설치하고, 조직 경계를 넘어 동료 에이전트와 협력할 수 있는 에이전트는 단순한 인증 및 접근 제어뿐만 아니라 기업 거버넌스의 전체 구조에 의해 제약되어야 합니다. 여기에는 에이전트가 무엇을 허용하고 금지하는지, 특정 작업 후에 무엇을 수행해야 하는지(예: CISO에게 통보), 어떤 조건에서 상시 의무가 면제될 수 있는지, 그리고 정책이 충돌할 때 어떤 규칙이 우선하는지를 명시하는 것이 포함됩니다. 이러한 거버넌스 문제는 현재의 정책 엔진이 제공하는 기능을 초과합니다. XACML, Rego, Cedar와 같은 시스템은 이 거버넌스 구조의 허용/금지 하위 집합만을 다룹니다. 이들은 의무 수명 주기 관리, 메타 정책 충돌 해결, 특정 상황에서 의무를 면제하는 면제 조항, 그리고 의료, 사이버 보안 또는 데이터 프라이버시와 같은 응용 프로그램에서 흔히 볼 수 있는 도메인 클래스 계층 구조에 대한 온톨로지적 추론을 제공하지 않습니다. 우리는 의무, 면제, 정책 충돌 해결, 정책에 대한 추론뿐만 아니라 기본적인 허용/금지 제약 조건과 같은 핵심 거버넌스 요구 사항을 실현하는 AgenticRei를 제안합니다. 우리는 Rei 프레임워크를 기반으로 구축된 의무론적 정책 언어를 사용하며, 이는 OWL(웹 온톨로지 언어)로 표현되고 LLM 외부의 고성능 논리 엔진에 의해 런타임에 평가됩니다. 동일한 파이프라인은 에이전트의 도구 호출과 에이전트 간 메시지를 모두 거버넌스합니다. 우리는 예시를 통해 의무론적 정책이 현재의 운용 엔진에서는 대부분 표현할 수 없는 보안 및 프라이버시와 관련된 거버넌스 제약 조건을 포착할 수 있음을 보여줍니다. 우리의 접근 방식은 A2AS와 같은 업계 표준 프레임워크와 자연스럽게 통합됩니다.

원문 초록

Autonomous agentic AI systems driven by Large Language Models (LLMs) introduce a new class of security, privacy, and compliance challenges: an agent that can invoke tools, manipulate data, install software, and coordinate with peer agents across organizational boundaries must be constrained not just by authentication and access control, but by the full structure of enterprise governance. This includes specifying what agents are permitted and prohibited from doing, what they areobliged to do after certain actions (e.g., notify the CISO), under what conditions a standing obligation may be waived, and which rules take precedence when policies conflict. This governance problem exceeds what current policy engines provide. Systems such as XACML, Rego, and Cedar address only the permit/prohibit subset of this governance structure. They do not provide obligation lifecycle management, meta-policy conflict resolution, dispensations that waive obligations in specific circumstances, and ontological reasoning over domain class hierarchies commonly found in applications such as healthcare, cybersecurity, or data privacy. We propose AgenticRei, which realizes key governance requirements such as obligations, dispensations, policy conflict resolutions, and reasoning over policies, as well as the basic permit/prohibit constraints. We use a deontic policy language built on the Rei framework, expressed as OWL (Web Ontology Language) and evaluated at runtime by a high-performance logic engine entirely outside the LLM. The same pipeline governs both tool invocations by the agent and agent-to-agent messages. We show through examples that deontic policies capture governance constraints around security and privacy that mostly cannot be expressed in current production engines. Our approach composes naturally with industry-standard frameworks like A2AS.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19464v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02418v2cs.CR공통 태그 Privacy Preserving, Large Language Model

Whiteout을 활용한 대규모 언어 모델(LLM)의 개인정보 유출 완화

Mitigating Private Data Leakage in LLMs with Whiteout

최신 대규모 언어 모델(LLM)은 거의 모든 접근 가능한 웹사이트에서 스크래핑한 콘텐츠와 사용자 입력을 포함하여 대부분 필터링되지 않은 방대한 데이터셋으로 학습(training)됩니다. 그 결과 LLM은 생년월일, 전화번호, 집 주소와 같은 민감한 개인정보(PSI)를 암기하고 그대로 재생성하는 경우가 많습니다. 이는 특히 경영진, 정치인, 판사와 같은 저명인사들에게 심각한 개인정보 침해 위험을 초래합니다. 기존의 완화 방법은 주로 머신 언러닝(machine unlearning)에 의존합니다. 그러나 이러한 방식은 종종 필요한 것보다 더 많은 정보를 제거하고, 모델의 유용성과 안전성(safety)을 저하시키며, 공격에 매우 취약합니다. 본 논문에서는 개인의 요청에 따라 정밀하고 세심하게 설계된 난독화 샘플로 덮어씀으로써 LLM이 실제 민감한 개인정보(PSI)를 그대로 토해내는 것을 방지하는 실용적인 도구인 Whiteout을 제시합니다. 널리 사용되는 OpenAI 모델을 포함하여 다양한 크기와 제조사의 최신 LLM에서 Whiteout을 평가(evaluation)합니다. 실험 결과, Whiteout은 대상 민감한 개인정보의 유출을 효과적으로 방지하고, 모델 유용성과 안전성에 미치는 영향이 미미하며, 기존 대안들보다 우수한 성능을 보였습니다. 또한 탈옥(jailbreaking)과 같은 블랙박스 공격부터 재학습(relearning) 및 양자화(quantization)와 같은 화이트박스 적응형 공격에 이르기까지 광범위한 대응 공격에 대해 Whiteout을 검증합니다. 마지막으로 Whiteout의 보안 및 윤리적 의미에 대한 논의로 결론을 맺습니다.

arXiv:2610.10616v1cs.LG공통 태그 Privacy Preserving, Large Language Model

라우팅이 멤버십을 드러낼 때: MoE 라우터 텔레메트리로 인한 프라이버시 누출

When Routing Reveals Membership: Privacy Leakage from MoE Router Telemetry

전문가 혼합(MoE) 언어 모델은 추론(inference) 과정에서 모니터링, 디버깅, 부하 분석, 안전성 감사 등을 위해 로깅되거나 노출될 수 있는 라우팅 정보를 생성합니다. 일반적인 모델 출력과 달리 이러한 텔레메트리는 모델의 내부 연산에 대한 관점을 드러내어, 특정 예시가 배포된 모델의 미세조정(fine-tuning)에 사용되었는지 여부를 드러낼 수 있는가라는 프라이버시 질문을 제기합니다. 본 논문에서는 기존의 출력 측 신호와 집계된 라우팅 특징을 결합하고 독립적으로 미세조정된 섀도 모델(shadow model)로부터 학습한 멤버십 분류기를 타깃 모델에 적용하는 라우터 증강 멤버십 추론 공격(membership inference attack)을 도입합니다. 세 가지 MoE 아키텍처와 세 가지 데이터 도메인 전반에서, 라우터 텔레메트리는 강력한 출력 신호 앙상블(ensemble) 대비 멤버십 추론 성능을 지속적으로 향상시켰으며, 9가지 모든 설정에서 1% FPR 기준 TPR을 2.7~9.4%p 증가시켰습니다. 이러한 누출은 전체 미세조정, 라우터 고정 학습(frozen-router training), LoRA 및 지시 미세조정(instruction tuning) 전반에서 지속되며, 이산적 전문가 선택, 제한된 텔레메트리, 또는 단일 섀도 모델만으로도 관찰 가능한 상태로 유지됩니다. 메커니즘 분석에 따르면 이러한 누출에는 라우터에 특화된 암기가 반드시 필요하지 않음을 보여줍니다. 즉, 미세조정은 은닉 표상에 멤버십 정보를 도입하며, 라우터는 파라미터가 고정되어 있더라도 이 신호의 투영을 노출합니다. 텔레메트리를 섭동(perturbation)시키는 것은 충실도가 저하될 때만 이러한 추가 누출을 감소시킵니다. 본 연구 결과는 라우터 텔레메트리가 운영 신호를 미세조정된 MoE 모델을 위한 추가적인 프라이버시 공격 표면으로 전환할 수 있음을 보여줍니다.

arXiv:2610.01195v1cs.AI공통 태그 Privacy Preserving, Large Language Model

연합 에이전트 최적화

Federated Agent Optimization

대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.

arXiv:2609.28372v1econ.GN공통 태그 Large Language Model, agentic ai

알고리즘 쇼핑: 에이전트 AI가 인간 휴리스틱을 대리 소비자로 활용하는 방식

Shopping by algorithm: How agentic AI deploys human heuristics as a surrogate consumer

소비자들은 점점 더 구매 결정을 대리 소비자 역할을 하는 대규모 언어 모델(LLM)에 위임하고 있다. 제품 속성을 비용이 드는 도구 호출 뒤에 두는 정보 보드(information-board) 과정 추적(process tracing)의 변형인 "Tool-Lab"을 사용하여, 마케팅 가격 단서(즉, just-below pricing과 프로모션 프레이밍)가 AI 쇼핑 에이전트에 어떻게 영향을 미치는지 살펴본다. 세 제공업체의 상용 배포 LLM 8개에 걸쳐 선택 전 정보 획득을 추적했다. 비용이 없을 때는 가격 단서가 거의 오도하지 않는다. 모호한 목표 프롬프트 하에서 정보 획득 비용을 부과하면 LLM은 단위 가격 계산에 필요한 진단적 속성을 생략하고 인간 휴리스틱을 닮은 차선 선택을 하게 된다. 진단적 탐색과 선택 최적성을 대체로 유지하는 구체적 목표 프롬프트에 비해, 제약 조건 하의 모호한 목표 프롬프트는 탐색을 매개로 한 취약점을 만든다. 본 연구는 위임형 AI 쇼핑에서 마케팅 휴리스틱이 반드시 불변적인 LLM 결함 때문이 아니라 상점프론트 정보 아키텍처에 의해 좌우됨을 보여준다.

arXiv:2610.13672v2cs.CL공통 태그 Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.