신뢰할 수 있는 에이전틱 AI: 자율적 LLM 시스템을 위한 실패 모드, 완화 전략 및 생애주기 프레임워크
Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems
대규모 언어 모델(LLM)을 기반으로 구축된 에이전틱 AI(Agentic AI) 시스템은 여러 단계에 걸친 계획 수립, 외부 도구 활용, 메모리 내 정보 보존, 다른 에이전트와의 협업을 수행할 수 있습니다. 이러한 기능은 기존의 정적 언어 모델보다 뛰어난 유용성을 제공하지만, 동시에 새로운 보안 및 운영상의 위험을 야기합니다. 웹사이트, 이메일, 문서, 데이터베이스 등 신뢰할 수 없는 콘텐츠가 시스템 인스트럭션과 동일한 컨텍스트로 유입될 수 있고, 영구 메모리는 침해된 정보를 세션 전반에 걸쳐 전달할 수 있으며, 외부 도구에 대한 접근 권한은 모델의 부정확한 응답을 중대한 실제 행동으로 이어지게 할 수 있습니다. 본 논문은 안전성(safety) 및 견고성, 정렬(alignment) 및 인간 감독, 투명성 및 감사 가능성, 프라이버시 및 데이터 거버넌스, 규제 준수라는 다섯 가지 상호 연결된 차원에서 에이전틱 AI의 신뢰성을 검토합니다. 또한 간접 프롬프트 인젝션(indirect prompt injection), 백도어 트리거, 목표 오일반화(goal misgeneralization), 메모리 오염, 세션 간 데이터 유출을 포함한 주요 실패 모드를 통합된 분류 체계로 정리합니다. 아울러 인스트럭션 계층 구조, 컨텍스트 격리, 스포트라이팅(spotlighting), 프로세스 기반 감독, 제한적 도구 사용, 프라이버시 보존 메모리 등 주요 완화 방식을 살펴보며, 실증적 증거로 뒷받침되는 기법과 여전히 주로 개념적 수준에 머물러 있는 기법을 구분합니다. 이러한 분석을 바탕으로, 명세, 설계, 학습(training), 평가(evaluation), 배포, 모니터링의 6단계로 구성된 '신뢰할 수 있는 에이전트 개발 생애주기(TADL)' 프레임워크를 소개합니다. TADL은 각 단계별로 관련 신뢰성 활동, 요구되는 증거, 위험 기반 의사결정 게이트를 정의합니다. TADL은 아직 실증적으로 검증되지는 않았으나, 보다 안전하고 책임 있는 에이전틱 시스템을 개발하고 평가하기 위한 구조화된 기반을 제공합니다. 마지막으로 본 논문은 현재 벤치마크(benchmark)의 한계를 짚어보고 향후 연구를 위한 우선 과제를 제시하며 마무리합니다.