arXiv:2409.03793

Safeguarding AI Agents: Developing and Analyzing Safety Architectures

Ishaan Domkundwar, Mukunda N S, Ishaan Bhola, Riddhik Kochhar

제출 2024-09-03

원문 초록

AI agents, specifically powered by large language models, have demonstrated exceptional capabilities in various applications where precision and efficacy are necessary. However, these agents come with inherent risks, including the potential for unsafe or biased actions, vulnerability to adversarial attacks, lack of transparency, and tendency to generate hallucinations. As AI agents become more prevalent in critical sectors of the industry, the implementation of effective safety protocols becomes increasingly important. This paper addresses the critical need for safety measures in AI systems, especially ones that collaborate with human teams. We propose and evaluate three frameworks to enhance safety protocols in AI agent systems: an LLM-powered input-output filter, a safety agent integrated within the system, and a hierarchical delegation-based system with embedded safety checks. Our methodology involves implementing these frameworks and testing them against a set of unsafe agentic use cases, providing a comprehensive evaluation of their effectiveness in mitigating risks associated with AI agent deployment. We conclude that these frameworks can significantly strengthen the safety and security of AI agent systems, minimizing potential harmful actions or outputs. Our work contributes to the ongoing effort to create safe and reliable AI applications, particularly in automated operations, and provides a foundation for developing robust guardrails to ensure the responsible use of AI agents in real-world applications.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2406.07089v4cs.CV공통 태그 AI Agent공식 코드 · Papers with Code

RS-Agent: 지능형 에이전트를 통한 원격 탐사 작업 자동화

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 시각적 질의응답 및 장면 이해와 같은 원격 탐사 작업에서 가능성을 보여주었다. 그러나 기존 모델들은 기본적인 인스트럭션 팔로잉에 머물러 있으며, 다중 소스 데이터 통합, 세밀한 공간 추론, 도메인 전문 지식을 요구하는 실세계 시나리오에서는 한계를 보인다. 이러한 격차를 해소하기 위해, 우리는 구조화된 작업 계획 및 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트 RS-Agent를 제안한다. RS-Agent는 전형적인 원격 탐사 워크플로우에 맞춰 네 가지 구성요소로 이루어진다: 의도 이해 및 프로세스 계획을 위한 중앙 컨트롤러(Central Controller), 도구 실행을 위한 동적 툴킷, 작업별 전문가 가이던스를 위한 솔루션 공간(Solution Space), 그리고 도메인 지식 지원을 위한 지식 공간(Knowledge Space)이다. 또한 작업 유형을 식별하고 전문가 정의 솔루션을 검색함으로써 계획 수립을 향상시키는 Task-Aware Retrieval과, 검색된 지식의 관련성과 완전성을 높이는 가중 이중 경로 검색-증강 생성(RAG) 방법인 DualRAG를 새롭게 도입한다. RS-Agent는 광학 영상과 SAR(합성 개구 레이더) 영상을 포함한 다양한 촬영 모달리티를 기본 지원하며, SAR 전용 처리 도구를 실행 가능한 워크플로우로 자동 구성할 수 있다. 9개 데이터셋과 18개 원격 탐사 작업에 대한 실험 결과, RS-Agent는 최신 MLLM 대비 현저히 높은 성능을 달성하였으며, 95% 이상의 작업 계획 정확도와 장면 분류, 객체 계수, 원격 탐사 시각적 질의응답에서 우수한 결과를 보였다. 이 결과는 지능형 지리공간 분석을 위해 LLM 추론과 원격 탐사 전문성을 결합하는 것의 가치를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.