에이전트는 어떻게 권한을 요청하는가: 인터페이스부터 시행까지 AI 에이전트의 사용자 권한
How Agents Ask for Permission: User Permissions for AI Agents, from Interfaces to Enforcement
한국어 초록
AI 에이전트가 점점 더 보편화됨에 따라 사용자는 이러한 시스템이 수반하는 위험에 점점 더 많이 노출되고 있다. 프롬프트 인젝션 공격은 물론 환각(hallucination) 또한 에이전트가 개인정보를 제3자에게 유출하도록 만들 수 있다. 자율 시스템으로서 에이전트는 또한 사용자의 의도나 승인 없이 은행 거래와 같은 민감한 작업을 수행한다는 더 적극적인 위험을 제기한다. 이러한 과제를 인식하여, 에이전트 보안(agentic security) 커뮤니티는 보안 에이전트 시스템을 위한 수많은 제안을 개발해 왔다. 이 연구의 상당 부분은 제품 수준의 접근에 초점을 맞춰왔으며, 여기서는 에이전트 시스템 개발자가 모든 사용자에게 동일한 보안 정책과 권한을 결정하고 적용한다. 그러나 사용자마다 요구와 선호가 다르므로, 에이전트 AI 시스템에서 사용자 수준의 권한 정책을 지원할 필요가 있다. AI 에이전트 시스템에서 사용자 수준의 권한이 어떻게 처리되는지 이해하기 위해, 우리는 에이전트 권한 시스템에 대한 21건의 제안을 조사한다. 이 검토를 바탕으로, 서로 다른 시스템이 사용자 수준의 권한 정책을 사용자 인터페이스와 내부적으로 어떻게 명세하는지, 사용자 입력으로부터 내부 정책을 어떻게 도출하는지, 그리고 실행 시점(run-time)에 해당 정책을 어떻게 시행(enforcement)하는지에 대한 분류체계를 구축한다. 그런 다음 우리는 다섯 개의 주목할 만한 상용 에이전트를 분석하고, 이들의 권한 처리 방식을 문헌의 에이전트 권한 시스템과 비교한다. 우리는 문헌과 상용 에이전트 전반에 걸쳐 여러 고수준 주제를 확인하고, 향후 연구가 필요한 여러 공백을 식별한다.
원문 초록
As AI agents gain prevalance, users are increasingly exposed to the risks such systems entail. Prompt injection attacks, as well as hallucination, can cause agents to leak private information to third parties. As autonomous systems, agents also present the more active danger of performing sensitive tasks, such as bank transactions, without the user's intent or authorization. Recognizing this challenge, the agentic security community has developed numerous proposals for secure agentic systems. Much of this work has focused on product-level approaches, where agentic system developers determine and apply the same security policies and permissions to all users. Yet different users have different needs and preferences, necessitating support for user-level permissions policies in agentic AI systems. To understand how user-level permissions are handled in AI agent systems, we survey 21 proposals for agent permissions systems. From this review, we construct a taxonomy of how different systems specify user-level permissions policies, both at the user interface and internally; derive internal policies from user input; and enforce those policies at run-time. We then analyze five prominent commercial agents and compare their permissions handling to agentic permissions systems in the literature. We identify several high-level themes across the literature and commerical agents, as well as multiple gaps where future work is needed.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.13718v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
오염되었으나 정확함: 비전-언어 모델이 내부적으로 스스로를 속이는 이유
Corrupted but Correct: Why Vision-Language Models Lie to Themselves Internally
표적 적대적 섭동(targeted adversarial perturbation)은 고정된 목표 캡션에 대한 비전-언어 모델(VLM)의 교사 강제(teacher-forced) 학습 손실을 거의 0에 가깝게 만들 수 있지만, 동일한 모델이 자유롭게 생성하도록 두면 목표의 흔적 없이 원래의 정확한 설명을 생성합니다. 우리는 이러한 해리를 학습/추론 격차(train/inference gap)라고 부르며, 200개의 홀드아웃 COCO 이미지에 대해 통제된 2단계 PGD 공격을 사용하여 Qwen2.5-VL-7B-Instruct에서 이에 대한 정밀한 기계론적 설명을 제시합니다. 첫째, CNN 강건성 문헌에서 가져와 올바르게 재구현한 텍스처 기반 공격 가능성 척도를 포함하여 이미지 수준의 픽셀 통계는 어떤 이미지가 오염될지 예측하는 능력이 사실상 전무함을 보여줍니다(최고 예측 변수 r=-0.050, p=0.484; 릿지 회귀 R^2=0.069). 둘째, 로짓 렌즈(logit lens)를 사용하여 이 격차가 단일 자기회귀 단계에 국한됨을 밝혀냈습니다. 이미 올바른 첫 번째 토큰이 생성된 상태를 조건으로 할 때 목표 토큰의 순위는 모든 이미지와 모든 조건에서 분산 없이 152,064개의 어휘 항목 중 정확히 3,488위로 고정됩니다. 셋째, 28개 LLM 디코더 레이어 전체에 걸쳐 목표 토큰 순위를 추적한 결과, 시각 인코더는 최종 결과와 무관하게 비교적 일정한 마진으로 모든 이미지의 표현을 오염시키지만, 언어 모델 디코더가 이를 차별적으로 중재함을 밝혔습니다. 즉, 취약한 이미지에 대해서는 오염된 신호를 증폭하고, 저항력이 있는 이미지에 대해서는 깨끗한 이미지의 기준선 이하로 신호를 적극 억제합니다(p<0.001, 순위-양분 상관계수 r=0.579). 병합기 은닉 상태(merger hidden state)에 대한 선형 프로브(linear probe)는 AUC=0.858로 이 두 가지 결과를 구분하지만, 우리는 이 추정치에 순환성 우려가 있음을 지적합니다. 이러한 결과들을 종합해 볼 때, 자기회귀 VLM의 적대적 강건성은 실질적으로 시각 인코더가 아닌 언어 디코더의 사전 확률(prior)에 따른 특성임을 시사하며, 이는 배포된 VLM 시스템에 대한 충실도 평가 및 방어 기법이 어디를 목표로 삼아야 하는지에 직접적인 시사점을 제공합니다.
원픽셀 공격에 대한 종합적 고찰: 연구 현황, 분류 체계, 응용 분야, 규제 정책 및 향후 연구 방향
A Comprehensive Review of One-Pixel Attack: Research Status, Taxonomy, Applications, Regulation Policy and Future Directions
원픽셀 공격(One-Pixel Attack, OPA)은 단 하나의 픽셀을 수정하는 것만으로 의료 진단, 자율주행, 생체 인식, 양자 통신 등 다양한 도메인에서 높은 확신도의 오분류를 안정적으로 유도할 수 있어 심층 학습(deep learning)의 적대적 취약성을 보여주는 가장 극단적인 사례 중 하나입니다. 개념적 단순성에도 불구하고, 기존 적대적 공격 서베이 논문들은 단편적이거나 피상적인 수준으로만 다루어 OPA에 대한 심층적 검토가 여전히 부족했습니다. 본 PRISMA 지침 기반 고찰 연구는 2017년부터 2026년까지의 수준 높은 연구들을 종합하여 알고리즘적 기초, 블랙박스 진화 최적화(optimization), 최신 하이브리드 및 프로그램 합성 공격, 방어 메커니즘, 해석 가능성 도구, 도메인 특화 취약성에 걸친 통일된 다축 분류 체계를 제공합니다. 본 논문의 분석에 따르면 차분 진화(Differential Evolution) 기반 전략이 우세하고, 효율성 최적화 및 현저성(saliency) 유도 방식이 부상하고 있으며, 데이터셋(dataset) 다양성, 전이 가능성, 표준화된 평가 측면에서는 지속적인 한계가 존재함을 확인했습니다. 또한 픽셀 복원, 이상 탐지, 입력 공간 변환, 강건한 학습을 포함한 방어 패러다임을 요약 및 평가하여 강건성, 비인지성, 계산 오버헤드 간의 상충관계를 규명합니다. 이러한 통찰을 바탕으로 선택적 픽셀 복구, 트랜스포머(transformer) 특화 취약성 분석, 현저성 기반 최적화, 실제 환경의 도메인 적응형 방어를 포괄하는 향후 연구 우선순위를 제시합니다. 나아가 강건성 테스트, 사고 공개, AI 보안 거버넌스를 강조하는 규제 프레임워크를 제안합니다. 본 서베이는 현대 AI 시스템에서 초희소(ultra-sparse) 적대적 위협을 이해, 평가 및 완화하기 위한 종합적인 기반을 마련합니다.
Safety Nudges: 실시간 AI 위험 인식을 위한 사용자 대면 개입
Safety Nudges: User-Facing Interventions for Real-Time AI Risk Awareness
대화형 AI 시스템은 환각(hallucination), 아부(sycophancy), 과잉 자신감(overconfidence), 의인화(anthropomorphism) 등 사용자에게 안전성(safety) 위험을 초래할 수 있으나, 이러한 위험은 일상 사용 중 사용자가 감지하기 어렵다. 우리는 챗봇 대화에서 우려할 만한 행동이 감지될 때 경량의 in situ 플래그를 제공하는 브라우저 기반 도구인 Safety Nudges를 제안한다. 챗봇을 자주 사용하는 45명을 대상으로 2주간 현장 연구(field study)를 수행하여 Safety Nudges를 평가했으며, 상호작용 로그, 설문, 개별 넛지에 대한 피드백을 수집했다. 참가자들은 도구가 유용하고 명확하며 방해가 최소라고 평가했고, 거의 모든 사용자가 잠재적 AI 위해(harm)에 대한 인식이 높아졌다고 보고했으나, 이러한 인식 향상만으로는 반드시 뚜렷한 행동 변화로 이어지지는 않았다. 결과는 사용자 대면 안전 넛지가 맥락 속에서 AI 응답을 비판적으로 평가하도록 돕음으로써 모델 수준 보호 장치를 보완할 수 있음을 시사하며, 대화형 AI 안전을 위한 넛지 설계에서 관련성(relevance), 보정(calibration), 사용자 통제(user control)의 중요성을 부각한다.
Ajar: Measuring Open Privilege in Agent Defenses
송전망 운영자 제어실 의사결정 지원을 위한 거버넌스 인식 대규모 언어 모델 오케스트레이션 에이전틱 디지털 트윈
A Governance-Aware Large Language Model Orchestrated Agentic Digital Twin for Transmission System Operator Control Room Decision Support
송전망 운영자(TSO)는 재생에너지 연계, 관성 감소, 더욱 엄격해진 보안 여유도로 인해 증가하는 복잡성에 직면해 있습니다. 대규모 언어 모델(LLM)은 자연어 기반 의사결정 지원을 제공하지만, 환각(hallucination), 통제되지 않는 도구 사용, 미흡한 추적성은 제어실의 요구사항과 상충합니다. 본 논문에서는 송전망 제어실을 위한 거버넌스 인식 에이전틱 디지털 트윈을 제시합니다. 대규모 언어 모델은 화이트리스트에 등록된 분석 도구만 선택하고 파라미터를 지정하며, 제안된 모든 동작은 모델이 우회할 수 없는 거버넌스 층을 통과합니다. 이 층은 매 실행마다 네 가지 규칙을 강제합니다. 화이트리스트에 등록된 도구만 실행됩니다. 어떤 실행도 단계 예산(step budget)을 초과하지 않습니다. 부작용(side effect)이 있는 동작은 운영자의 명시적 승인 없이는 실행되지 않습니다. 답변의 모든 숫자는 단위, 변수, 시점과 함께 백엔드 결과로부터 해당 층에 의해 렌더링됩니다. 이 규칙들은 그리스 송전망의 디지털 트윈 상에서 분석, 시뮬레이션, 다단계 워크플로, 12개 계열의 적대적 입력을 다루는 공개된 118개 작업 벤치마크의 모든 실행에 대해 영구 감사 추적(audit trail)을 통해 검증됩니다. 기본 모델의 590회 실행 전반에서 도구 선택은 96.5%, 작업 성공률은 93.7%에 달했으며, 네 가지 규칙 모두 예외 없이 유지되었습니다. 4개의 대규모 언어 모델에 걸쳐 총 1,416회 실행된 별도의 3회 반복 연구에서도 해당 규칙들은 매 실행마다 유지되었으며, 약 95% 하한은 99.8%였습니다. 해당 층을 제거하자 동일한 모델이 승인이 필요한 45회의 실행을 모두 승인 없이 실행했으며, 백엔드 기반 숫자를 포함한 답변은 39.2%에 불과했습니다. 규칙 강제에 소요되는 비용은 요청당 12~16밀리초입니다.
엔터프라이즈 MCP를 위한 제로 트러스트 인가 및 디스커버리
Zero-Trust Authorization and Discovery for Enterprise MCP
LLM 에이전트는 공격자가 제어할 수 있는 텍스트를 포함할 수 있는 자연어 문맥을 특권 도구 호출로 변환하므로, 에이전트가 프롬프트 인젝션을 당하거나 적대적으로 유도되더라도 인가는 계속 유효해야 한다. Model Context Protocol(MCP)은 이러한 경계를 위한 널리 채택된 인터페이스가 되었지만, 공식 SDK의 인증·인가 기본 요소는 엔터프라이즈 제로 트러스트 요구사항—특히 하나의 서버가 인간 사용자(기업 SSO)와 자동화된 에이전트(다른 헤더의 서비스 계정 자격 증명)를 모두 제공해야 하는 이중 페르소나 모델—에 미치지 못한다. 우리는 조사한 6개 MCP SDK(Python, TypeScript, Go, Rust, C#, Swift)에 대한 체계적 갭 분석을 수행하고 세 가지 구조적 한계를 확인한다: 단일 Authorization 헤더에 묶인 자격 증명 추출로, 커스텀 미들웨어 없이는 이중 페르소나 배포가 복잡해짐; 사전 인증 도구 디스커버리의 부재; 기본 SDK에서 도구별 세분화된 인가의 부재. 프로토콜이나 SDK 내부를 수정하지 않고, FastMCP에 대한 조합 가능한 확장으로 이러한 공백을 메운다: 인간 호출자와 서비스 계정 호출자를 모두 받는 엔터프라이즈 배포를 위한 크로스 헤더 자격 증명 정규화, 이종 IdP에 걸친 캐시된 토큰 검증, 자격 증명 없는 레지스트리 디스커버리를 위한 비인증 메타데이터 엔드포인트, 단일 선언형 어노테이션으로 도구별 호출 강제와 일관되게 유지되는 권한 필터링 도구 가시성. 4개의 최신 LLM에 걸친 2160회 시도에서, 본문 검사만 수행하는 서버는 여전히 금지된 도구를 노출한다(152/720, 21.1%), 반면 권한 인식 가시성은 해당 비율을 0/720으로 낮춘다; 가시성만 필터링하는 방식은 스크립트 클라이언트에 의해 우회 가능했고, 프롬프트에서 추론 가능한 설정에서는 모델이 숨겨진 도구를 이름으로 참조하는 비율이 최대 94%에 달해, 디스커버리 통제만으로는 호출 시점 강제를 대체할 수 없음을 확인한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.