arXiv:2609.24515v1 cs.CR

예측 가능한 경로를 넘어: 에이전트를 위한 AI 보안 사고 보고 재정의

Beyond Predictable Paths: Redefining AI Security Incident Reporting for Agents

Anastasia Pustozerova, Eugene Bagdasarian, Luca Beurer-Kellner, Battista Biggio, Nico Ebert, David Filip, Marc Fischer, Heather Frase, David Hofer, Juliane Hoffmann, Daphne Ippolito, Somesh Jha, Sean McGregor, Esfandiar Mohammadi, Luca Nannini 외 10명

제출 2026-09-22

한국어 초록

AI 에이전트가 빠르게 배포되면서 AI 특화 공격과 그에 따른 사고도 늘고 있다. 사고 보고가 법적 준수, 거버넌스, 책임성, 보안 측면에서 점점 더 중요해지므로, 현행 프레임워크는 AI 에이전트의 고유한 특성에 맞게 조정되어야 한다. 본 논문에서 두 명의 편집 저자는 AI 시스템과 AI 에이전트를 비교하고, 학계 및 산업계 23명의 전문가 의견을 바탕으로 AI 에이전트 보안이 침해된 사고를 보고할 때 필요한 정보를 밝힌다. 잠재적 보고 요소로는 예를 들어 에이전트 메모리 및 메모리 접근, 실제 및 잠재적 자율성 수준, 도구 사용 등이 포함된다. 이러한 결과를 바탕으로 사고를 효율적으로 기록하는 방법과 취약점 및 사고가 일반화되는지 판단하는 방법 등 여러 미해결 연구 질문을 제시한다. 전문가 피드백은 또한 데이터 유출 위험과 보고 인프라 자체를 겨냥한 공격과 같은 잠재적 보고 취약점을 강조하여 추가 연구 필요성을 드러냈다. 마지막으로 개인정보 요구사항을 요약하고 AI 에이전트의 안전하고 신뢰할 수 있는 배포를 위한 연구 방향을 개괄한다.

원문 초록

AI agents are being deployed rapidly, accompanied by a growing number of AI-specific attacks and corresponding incidents. As incident reporting becomes increasingly important for legal compliance, governance, accountability, and security; current frameworks must be adapted to the unique characteristics of AI agents. In this paper, two editorial authors compare AI systems and AI agents and, drawing on input from 23 experts in academia and industry, identify the information required for reporting incidents where the security of AI agents is harmed. %involving AI agents. Potential reporting elements include, for example, agent memory and memory accesses, actual and potential levels of autonomy, and tool usage. Based on these findings, we identify several open research questions, including how to efficiently record incidents and how to determine whether vulnerabilities and incidents generalize. Expert feedback also highlighted potential reporting weaknesses, such as risks of data leakage and attacks targeting the reporting infrastructure itself, creating additional research needs. Lastly, we summarize privacy requirements and outline research directions for the secure and trustworthy deployment of AI agents.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.24515v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01195v1cs.AI공통 태그 Survey, Privacy Preserving

연합 에이전트 최적화

Federated Agent Optimization

대규모 언어 모델(LLM) 에이전트(agent)는 점차 비공개 환경에서 작동하며 작업 수행, 도구 사용, 피드백, 로컬 지식으로부터 가치 있는 경험을 축적하고 있습니다. 그러나 이러한 경험은 여러 조직에 분산되어 있으며 프라이버시 및 독점적 제약으로 인해 직접 공유될 수 없습니다. 에이전트의 역량이 모델(model) 파라미터를 넘어 메모리, 도구, 보상(reward), 기술 및 정형화된 지식으로 확장됨에 따라 기존의 연합학습(federated learning)은 이러한 환경에 불충분합니다. 본 논문에서는 원시 데이터, 완전한 궤적, 비공개 지식을 로컬에 유지하면서 통제된 정보 교환을 통해 분산된 에이전트들이 협력하여 개선할 수 있는 방법을 연구하는 연합 에이전트 최적화(Federated Agent Optimization, FAO)를 정식화합니다. 본 연구는 FAO를 에이전트 유용성, 프라이버시 유출, 통신 비용의 균형을 맞추는 다중 목적 최적화 문제로 정의하고, 정책, 메모리, 도구 사용, 보상, 정형화된 지식 및 기술 전반에 걸쳐 최적화 공간을 체계화합니다. 나아가 비공개 경험을 추상화, 보호, 집합 및 적응시켜 전이 가능한 역량으로 변환하는 방법을 구체화함으로써, 에이전트들이 직접적인 경험 공유 없이도 서로에게서 이점을 얻을 수 있는 통합된 관점을 제공합니다. 마지막으로 FAO의 주요 과제를 식별하고 신뢰할 수 있는 연합 에이전트 시스템을 향한 미래 연구의 유망한 방향들을 제시합니다.

arXiv:2609.28137v1cs.CY공통 태그 Survey, Privacy Preserving

"나중에 고치죠": 교육, AI, 그리고 에듀테크의 프라이버시 유예

"We'll Fix It Later": Education, AI, and the Deferral of Privacy in EdTech

교육 기술(EdTech) 플랫폼은 행동 로그, 장애 기록, 학적 기록을 포함한 매우 민감한 학생 데이터를 수집합니다. 그러나 프라이버시 고려 사항은 기초적인 설계 요구사항으로 다루어지기보다는 종종 뒤로 미뤄집니다. 본 연구에서는 12건의 에듀테크 전문가 반구조화 인터뷰와 5개 차원에 걸쳐 코딩된 48개 플랫폼의 개인정보 처리방침 감사를 결합한 혼합 연구 방법론(mixed-methods study)을 제시하며, 높은 평가자 간 신뢰도(평균 Cohen's Kappa = 0.781)를 확보했습니다. 인터뷰 결과, 조직들이 제품 기능, 성장, 자금 조달, 즉각적인 교육적 성과를 우선시함에 따라 프라이버시가 중요하다고 인식되면서도 제품 수명 주기 전반에 걸쳐 유예되는 반복적인 조직적 패턴이 드러났습니다. 책임은 종종 클라우드 제공업체, 정책 문서, 또는 하위 기관으로 위임되며, 제한적인 프라이버시 관련 피드백으로 인해 조직들이 이러한 관행을 바꿀 만한 압박을 거의 받지 않습니다. 정책 분석 역시 이러한 패턴을 반영합니다. 플랫폼들은 수집하는 데이터에 대해서는 비교적 잘 설명하지만, 해당 데이터가 이후 어떻게 관리·통제(governed)되는지에 대해서는 실질적으로 훨씬 적은 정보를 제공합니다. 가시적인 인공지능(AI) 기능이 있음에도 불구하고 33%는 유의미한 AI 관련 공개를 하지 않았으며, 73%는 일반적인 책임성 및 침해 사고 대응 문구만을 제공했습니다. 규제가 명시적인 요구사항을 생성하는 아동 동의 영역에서는 K-12 플랫폼이 더 나은 성과를 보였으나, 이러한 이점이 AI 거버넌스나 책임성으로까지 이어지지는 않았습니다. 이러한 발견은 자발적인 프라이버시 약속만으로는 부족하며, 의미 있는 개선을 위해 집행 가능한 제도적 및 규제적 메커니즘이 필요함을 시사합니다.

arXiv:2609.22601v1cs.ET공통 태그 Privacy Preserving, ai agents

AI 에이전트를 위한 공정 보상 분산 정보 검색 및 증강

Fairly Compensated Distributed Information Retrieval and Augmentation for AI Agents

자율 AI 에이전트가 외부 및 분산 지식 소스에 점점 더 의존하면서, 탈중앙화 정보 마켓플레이스에는 근본적인 난제가 생긴다. 검색 에이전트는 구매 전에 데이터의 품질과 관련성을 평가해야 하지만, 데이터 제공자는 보장된 보상이 이루어지기 전에는 가치 있는 정보를 노출하지 않아야 한다. 이 역설은 중앙화된 중개자가 당사자 간 공정성을 강제할 수 없는 신뢰 불필요(trustless) 다중 에이전트 환경에서 특히 중요해진다. 본 논문에서는 자율 에이전트 네트워크에서 분산 정보 검색 및 증강을 위한 공정 보상 프로토콜을 제안한다. 우리 프레임워크는 검색 에이전트가 후보 문서의 평문 내용을 알지 못한 채 안전하게 평가하고 순위를 매길 수 있게 하며, 데이터 제공자는 유효한 정보가 성공적으로 전달된 경우에만 보상받도록 보장한다. 또한 악의적 적대자에 대한 프로토콜의 보안 특성을 분석하고, 구현을 통해 실용적 타당성을 평가한다. 실험 결과는 제안 설계가 기밀성, 정확성, 무결성, 공정성을 유지하면서 현재 암호학 인프라에서 실용적임을 보여준다. 이러한 메커니즘이 미래 AI 에이전트 생태계를 위한 신뢰할 수 있고 경제적으로 지속 가능한 탈중앙화 지식 마켓플레이스의 중요한 암호학적 기반을 제공한다고 본다.

arXiv:2609.22712v1cs.AI공통 태그 Survey, Privacy Preserving

신뢰할 수 있는 에이전틱 AI: 자율적 LLM 시스템을 위한 실패 모드, 완화 전략 및 생애주기 프레임워크

Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems

대규모 언어 모델(LLM)을 기반으로 구축된 에이전틱 AI(Agentic AI) 시스템은 여러 단계에 걸친 계획 수립, 외부 도구 활용, 메모리 내 정보 보존, 다른 에이전트와의 협업을 수행할 수 있습니다. 이러한 기능은 기존의 정적 언어 모델보다 뛰어난 유용성을 제공하지만, 동시에 새로운 보안 및 운영상의 위험을 야기합니다. 웹사이트, 이메일, 문서, 데이터베이스 등 신뢰할 수 없는 콘텐츠가 시스템 인스트럭션과 동일한 컨텍스트로 유입될 수 있고, 영구 메모리는 침해된 정보를 세션 전반에 걸쳐 전달할 수 있으며, 외부 도구에 대한 접근 권한은 모델의 부정확한 응답을 중대한 실제 행동으로 이어지게 할 수 있습니다. 본 논문은 안전성(safety) 및 견고성, 정렬(alignment) 및 인간 감독, 투명성 및 감사 가능성, 프라이버시 및 데이터 거버넌스, 규제 준수라는 다섯 가지 상호 연결된 차원에서 에이전틱 AI의 신뢰성을 검토합니다. 또한 간접 프롬프트 인젝션(indirect prompt injection), 백도어 트리거, 목표 오일반화(goal misgeneralization), 메모리 오염, 세션 간 데이터 유출을 포함한 주요 실패 모드를 통합된 분류 체계로 정리합니다. 아울러 인스트럭션 계층 구조, 컨텍스트 격리, 스포트라이팅(spotlighting), 프로세스 기반 감독, 제한적 도구 사용, 프라이버시 보존 메모리 등 주요 완화 방식을 살펴보며, 실증적 증거로 뒷받침되는 기법과 여전히 주로 개념적 수준에 머물러 있는 기법을 구분합니다. 이러한 분석을 바탕으로, 명세, 설계, 학습(training), 평가(evaluation), 배포, 모니터링의 6단계로 구성된 '신뢰할 수 있는 에이전트 개발 생애주기(TADL)' 프레임워크를 소개합니다. TADL은 각 단계별로 관련 신뢰성 활동, 요구되는 증거, 위험 기반 의사결정 게이트를 정의합니다. TADL은 아직 실증적으로 검증되지는 않았으나, 보다 안전하고 책임 있는 에이전틱 시스템을 개발하고 평가하기 위한 구조화된 기반을 제공합니다. 마지막으로 본 논문은 현재 벤치마크(benchmark)의 한계를 짚어보고 향후 연구를 위한 우선 과제를 제시하며 마무리합니다.

arXiv:2609.24669v1cs.CR공통 태그 Survey, Privacy Preserving

엣지 기반 IoT 보안에서의 신뢰: 특징, 과제 및 연구 방향

Trust in Edge-Enabled IoT Security: Features, Challenges and Research Directions

인간의 삶과 산업에 자율적 지능, 유비쿼터스 연결성 및 사용 편의성을 제공함에 따라 사물인터넷(IoT)이 등장하게 되었습니다. 시간에 민감하고 자원이 제한된 애플리케이션을 지원하기 위해 오늘날의 IoT 시스템은 점점 더 엣지 컴퓨팅(edge computing)에 의존하고 있습니다. 이는 연산과 의사결정을 엔드 디바이스에 더 가깝게 만듭니다. 엣지 기반 IoT 아키텍처에서는 지연 시간과 통신 오버헤드가 감소하지만, 더욱 광범위하고 다양한 디바이스, 엣지 노드, 서비스 및 데이터 소스 간의 상호작용 또한 발생합니다. 이러한 환경에서 보안 및 프라이버시 메커니즘은 보호를 위한 기반을 제공하는 한편, 신뢰 관리는 상호작용하는 개체의 신뢰성을 평가하고 안전한 결정을 적응시킬 수 있습니다. 본 논문에서는 엣지 기반 IoT에서의 신뢰 관리 현황을 체계적으로 검토합니다. 이를 위해 물리, 네트워크 및 애플리케이션 아키텍처 IoT 계층을 소비자, 상업, 산업 및 인프라 IoT 도메인에 매핑하는 포괄적인 분류 체계를 제안합니다. 나아가 신뢰 설계, 보안 IoT 운영에 신뢰가 통합되는 방식, 신뢰 관리 프로세스에 영향을 미치는 공격을 기반으로 최신 연구를 조사합니다. 이러한 조사 결과를 바탕으로 현재 연구의 주요 공백을 식별하고 엣지 기반 IoT에서 문맥 인식 및 적응형 신뢰 관리를 위한 향후 방향을 제시합니다.

arXiv:2609.24927v1cs.AI공통 태그 Privacy Preserving, ai agents

Et Tu, Brute? 개인 AI 에이전트의 경제적 정렬 오류

Et Tu, Brute? Economic Misalignment in Personal AI Agents

개인 AI 에이전트(personal AI agent)는 항공권 구매, 건강보험 선택, 대학원 프로그램 선정 등 고위험 경제적 상황에서 사용자를 대신해 추천을 제공하고 행동을 수행한다. 이 에이전트는 사용자에게 최적화된 개인화 결정을 내릴 목적으로 이메일 수신함이나 개인 속성에 대한 구조화된 프로필 등 사용자의 개인 맥락(personal context)에 접근할 수 있다. 우리는 이러한 개인 맥락을 제공하는 것만으로도 에이전트가 명시적인 지시 없이 추론된 부(wealth)에 따라 추천을 유도한다는 것을 보여준다. 항공권, 건강보험, 대학원 프로그램이라는 세 가지 유형의 경제적 결정에 걸쳐 13개 에이전트를 대상으로 32만 5천 건의 실험을 수행한 결과, 동일한 요청에 대해 8개 모델이 더 부유한 사용자에게 체계적으로 더 비싼 옵션을 선택한다는 것을 확인했다. 이러한 유도는 사용자가 명시한 목표와 직접 상충하는 경우에도 계속된다. 즉, 가장 저렴한 옵션을 찾도록 명시적으로 지시받은 경우에도 일부 에이전트는 자신이 추론한 부 프로필에 따라 행동한다. 이는 과제와 무관한 이메일과 같은 주변 데이터(ambient data)로부터 부가 추론되는 경우에도 나타난다. 또한 특정 속성을 차단하는 개인정보 보호 제어 하에서도 지속된다. 재무 관련 속성을 차단하면 격차가 대체로 사라지지만, 다른 속성을 차단하면 격차는 그대로 유지되거나 보험의 경우 최대 40%까지 증가할 수 있는데, 이는 에이전트가 남은 신호에 의존해 부를 추론하기 때문이다. 더 크고 성능이 뛰어난 모델이라고 해서 더 낫지 않으며, Claude Opus 4.8이 가장 큰 효과를 보인다. 우리는 이러한 정렬 오류(misalignment)를 "적대적 위임(adversarial delegation)"이라고 명명한다. 이는 개인 AI 에이전트를 유용하게 만드는 바로 그 조건, 즉 개인 정보에 대한 접근이 오히려 사용자의 이익에 반해 행동하도록 만드는 것을 뜻한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.