arXiv:2608.07446v1 cs.SE

분류체계 기반 오픈소스 AI 위험 완화 도구 분석

Taxonomy-Driven Analysis of Open-Source AI Risk Mitigation Tools

Afreen Alam, Evgenija Popchanovska, Ana Gjorgjevikj, Maryan Rizinski, Lubomir T. Chitkushev, Irena Vodenska, Dimitar Trajanov

제출 2026-08-07

한국어 초록

기업 환경에서 대규모 언어 모델(LLM)의 도입이 급증함에 따라 운영, 보안 및 거버넌스 위험이 대두되었습니다. 생성형 AI 애플리케이션이 파일럿 단계에서 프로덕션 환경으로 전환됨에 따라 위해 식별 및 완화를 수작업으로 확장하기가 점점 더 어려워지고 있습니다. 모델 평가, 적대적 테스팅(adversarial testing), 런타임 가드레일, 관측성(observability)을 지원하는 도구는 많지만, 도구 생태계는 여전히 파편화되어 있습니다. 이러한 도구들은 대개 특정 엔지니어링 작업을 위해 설계되었으며 거버넌스 프레임워크나 위험 분류체계와 일치하지 않는 기술 용어로 설명되므로, 어떤 도구가 어떤 위험을 해결하고 어디에 심각한 공백이 남아 있는지 파악하기 어렵습니다. 본 논문에서는 오픈소스 LLM 평가 및 보안 도구에 대한 분류체계 기반 분석을 통해 AI 위험 완화를 자동화하는 구조화된 프로토콜을 제안합니다. 저자들은 21개의 대표적인 오픈소스 도구의 기능을 확장된 MIT AI 위험 완화 및 대응 분류체계(MIT AI Risk Mitigation and Response Taxonomy)의 32개 하위 범주에 매핑합니다. LLM 지원 검색-증강 생성(RAG) 파이프라인이 소스 코드와 문서를 분석하여 각 분류 범주에 대한 기능을 추출합니다. 신뢰도 평가 결과 3명의 독립적인 검토자 간에 중간 수준의 일치도(Fleiss' Kappa = 0.509)를 보였습니다. 분석 결과, 도구들이 기술 및 운영 통제에 집중되어 있는 반면 거버넌스, 법률 및 규제, 금융 및 시장 통제는 거의 다루어지지 않는 매우 편중된 환경임이 드러났습니다. 이는 도구 기반 통제와 조직 및 규제 프로세스를 결합하는 계층화된 위험 완화 아키텍처의 필요성을 시사합니다. 매핑 프로토콜은 다수결 투표 후 75.5%의 F1 점수를 달성했습니다. 종합적으로 본 연구는 엔터프라이즈 AI 위험 범주와 오픈소스 완화 기능 간의 실질적인 매핑을 제공하고, 인간의 감독이 여전히 필요한 영역을 식별하며, 오픈소스 및 상용 솔루션 모두에 적용 가능한 분류체계 기반 프레임워크를 제시합니다.

원문 초록

Rapid adoption of large language models (LLMs) in enterprise settings has introduced operational, security, and governance risks. As generative AI applications move from pilot to production, manual harm identification and mitigation are becoming difficult to scale. Although many tools support model evaluation, adversarial testing, runtime guardrails, and observability, the tooling landscape remains fragmented. Tools are typically designed for specific engineering tasks and described in technical terms that do not align with governance frameworks or risk taxonomies, making it difficult to determine which tools address which risks and where critical gaps remain. This paper proposes a structured protocol to automate AI risk mitigation through a taxonomy-driven analysis of open-source LLM evaluation and security tools. We map the capabilities of 21 prominent open-source tools to the 32 subcategories of the extended MIT AI Risk Mitigation and Response Taxonomy. An LLM-assisted retrieval-augmented generation pipeline analyzes source code and documentation to extract capabilities for each taxonomy category. Reliability assessment yielded moderate agreement (Fleiss' Kappa = 0.509) among three independent reviewers. The analysis reveals a highly skewed landscape in which tools cluster around technical and operational controls, while governance, legal and regulatory, and financial and market controls remain largely unaddressed. This motivates a layered risk-mitigation architecture combining tool-based controls with organizational and regulatory processes. The mapping protocol achieved an F1 score of 75.5% after majority voting. Overall, the study provides a practical mapping between enterprise AI risk categories and open-source mitigation capabilities, identifies where human oversight remains necessary, and presents a taxonomy-driven framework applicable to open-source and proprietary solutions.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2608.07446v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.