angsana.capital

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.17114v1cs.CR

현실적 시나리오에서 도구 사용 대규모 언어 모델(LLM) 에이전트의 데이터 유출 위험 평가

An Evaluation of Data Leakage Risks in Tool-Using LLM Agents in Realistic Scenarios

AI 에이전트는 이메일, 데이터베이스, 문서 및 기타 도구에 접근하여 민감한 정보를 읽고, 업데이트하고, 유포할 수 있는 기업 및 개인 환경에서 점점 더 채택되고 있습니다. 에이전트의 데이터 유출 위험에 대한 대부분의 이전 연구는 프롬프트 주입(prompt injection) 및 탈옥(jailbreak)을 통한 적대적 데이터 반출에 초점을 맞추었습니다. 그러나 민감한 정보는 비적대적 사용 중에도 노출될 수 있으며, 이는 사용자가 양성(benign) 요청을 발행할 때에도 유출 위험을 초래합니다. 우리는 싱가포르 AI 안전 연구소(Singapore AI Safety Institute)와 한국 AI 안전 연구소(Korea AI Safety Institute)의 공동 평가 결과를 보고하며, 이는 고객 지원, DevOps, 웹 자동화, 기업 및 개인 생산성에 걸친 12가지 현실적이고 비적대적인 작업에서의 에이전트 데이터 유출을 조사했습니다. 이 평가는 데이터 인식 부재, 대상 인식, 정책 준수, 데이터 최소화, 접근 경계 인식의 다섯 가지 위험 유형을 다룹니다. 두 연구소는 독립적인 테스트 환경과 작업별 LLM 판사(LLM-judge) 루브릭을 사용하여 실제 배포를 반영하는 공통 시나리오 세트를 테스트했습니다. 테스트된 세 에이전트 모두 모든 시나리오에서 완전히 정확하고 완전히 안전한 실행을 달성하지 못했습니다. 성공적인 작업 완료는 불필요한 정보에 접근하거나 부적절한 수신자에게 정보를 공개하는 것과 같은 데이터 처리 실패와 자주 동반되었으며, 이는 능력(capability)과 데이터 처리 안전성이 별도로 평가되어야 함을 시사합니다. 정성적 검토는 또한 주장-행동 불일치, 시뮬레이션 인식 행동, 사용자-시뮬레이터 역할 전환, 자동화된 판단의 해석 격차를 드러냈습니다. 전반적으로, 결과는 운영상 데이터 유출이 적대적 반출과 구별되는 1차적 에이전트 안전 우려 사항임을 나타내며, 향후 에이전트 데이터 처리 안전성 평가를 위한 방법론을 제공합니다.