Probabilistic Agents in Deterministic Audits: Evaluating Multi-Agent Systems for Automated Audits Based on the German IT-Grundschutz
원문 초록
The NIS-2 Directive mandates robust Risk Management from thousands of small and medium enterprises. To ensure compliance, companies rely on established standards such as the German IT-Grundschutz (IT-GS) of the Federal Office for Information Security. However, IT-GS certification is resource-intensive and requires a high level of manual effort for documentation, validation, and revision, making scalable implementation difficult and expensive. Building upon our previous conceptual framework, this paper presents the technical implementation and empirical evaluation of a Multi-Agent System (MAS) architecture combined with Hybrid Retrieval Augmented Generation (HybridRAG) for the partial automation of IT-GS certification. We introduce two novel technical contributions to the MAS architecture to enforce the compliance rigor. The Hypothesis-Verification Loop in the Structural Analysis (SA) phase that cross-references agent-inferred dependencies against the Knowledge Graph to reduce hallucinations, and a Decoupled Reasoning Pipeline that separates agent-driven semantic extraction from the deterministic protection need inheritance. We utilize the BSI's "RecPlast GmbH" case study as a human expert-generated reference data set for end-to-end evaluation of the architecture and to quantify Precision, Recall, and F1-scores. The performance of the system is investigated across the phases of SA, Protection Needs Assessment (PNA), Modeling, and IT-GS Check. The empirical results reveal noticeable differences throughout the different steps of IT-GS. While the MAS demonstrates high efficacy in semantic tasks (SA and Modeling), significantly reducing manual effort through automated information extraction, quantitative results reveal limitations in logical reasoning phases (PNA and IT-GS Check) as the probabilistic nature of current LLMs struggles to meet the deterministic rigor required by IT-GS.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.25622v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LabourCrew: 노동법에 대한 신뢰 가능한 적대적 심의 및 법령 추론을 위한 멀티 에이전트 RAG 프레임워크
LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law
법령 기반 질의응답(statutory question answering)에서는 검증 불가능한 노동권 관련 답변이 심각한 법적 결과를 초래할 수 있으므로, 모든 주장이 단순한 관련성을 넘어 반드시 증거로 추적 가능해야 합니다. 기존 시스템은 이에 미치지 못합니다. 단일 패스(single-pass) 검색-증강 생성(RAG)은 증거 부족을 감지하지 못하며, 멀티 에이전트 법률 토론 시스템은 그라운딩(grounding)을 프롬프트 관례 수준으로 취급하여 에이전트가 검색되지 않은 증거를 인용하도록 허용합니다. 이러한 격차를 해결하기 위해, 세 가지 그라운딩 메커니즘을 중심으로 구축된 멀티 에이전트 RAG 프레임워크인 LabourCrew를 소개합니다. 첫째, 고정 길이 스팬 대신 장, 조항, 단서 조항, 상호 참조 구조를 명시적으로 연결하는 그래프 인덱스인 StatuteGraph, 둘째, 옹호인(advocate)과 해석인(interpreter)을 증거 원장에 국한하여 검색되지 않은 텍스트를 인용하는 것을 원천 차단하는 동시에, 개별 실패가 시스템 다운으로 이어지지 않고 점진적으로 저하되도록 옹호인을 병렬 실행하는 내결함성 감독 위원회로 구성된 증거 교환 프로토콜(Evidence Exchange Protocol), 셋째, 단정적인 수락/기각 결정을 신뢰 점수로 대체하고 오수락률(false-accept rate)에 대한 무분포 경계(distribution-free bound)를 확보하기 위해 등각 위험 제어(conformal risk control)로 임계값을 설정하는 보정된 신뢰 게이트(Calibrated Trust Gate)입니다. 7개 추론 범주와 3개 난이도 단계에 걸친 방글라데시 2006년 노동법 기반의 500개 벵골어 문항 세트인 LabourActQA에서 평가를 수행했습니다. 본 프레임워크는 실증적 오수락률을 목표치($\alpha = 0.10$) 이내인 0.081로 낮추고, HyDE RAG, Graph-RAG, Hierarchical RAG 대비 가장 높은 답변 관련성(Answer Relevancy)을 달성했으며(0.862 $>$ 0.839, 0.815, 0.828), 질문 난이도가 높아짐에 따라 급격한 성능 저하 없이 점진적으로 저하됩니다. 이러한 결과는 저자원 법령 도메인에서 법률 질의응답을 감사 가능하게 만드는 핵심이 검색 품질 단독이 아닌 보정된 기권(calibrated abstention)임을 보여줍니다.
신뢰할 수 있고 비용 효율적인 데이터 통합을 향하여: 순진한 RAG에서 에이전틱 RAG까지
Towards Trustworthy and Cost-Efficient Data Integration: From Naïve RAG to Agentic RAG
대규모 언어 모델(LLM)과 AI 에이전트는 제로샷 및 퓨샷 설정에서 데이터 통합에 대한 강력한 잠재력을 보여주었다. 그러나 지속적인 지식 격차로 인해 기업 환경에서는 여전히 정확도와 비용 측면에서 상당한 과제에 직면하고 있다. 본 논문은 검색-증강 생성(RAG) 워크플로 내에서 동작하는 지식 그라운딩 LLM과 에이전트를 통해 신뢰할 수 있고, 확장 가능하며, 비용 효율적인 통합을 구상한다. 여기서 신뢰성은 증거에 기반한 검증 가능한 추론을 의미하며, 통합 결정이 검색된 지식에 의해 투명하게 뒷받침되고, 환각에 강건하며, 과제 간 일관성을 유지하는 것을 말한다. 우리는 고전적 RAG에서 GraphRAG 및 KG-RAG(지식 그래프 기반 RAG)로의 진화를 추적하며, 이러한 패러다임이 파라미터 지식과 문맥 지식을 어떻게 연결하는지 강조한다. 이 궤적을 바탕으로, 자율적 다중 에이전트 시스템이 복잡한 통합 과제를 위해 적응적으로 계획하고, 검색하고, 정제하고, 추론하는 에이전틱 RAG로의 전환을 탐구한다. 우리는 대규모 기업 환경에서의 계산 병목을 해결하는 비용 효율적 통합을 위한 최적화 전략을 검토한다. 마지막으로, 신뢰할 수 있고 설명 가능하며 확장 가능한 지식 그라운딩 통합 시스템 구축을 향한 미해결 과제와 향후 방향을 개괄한다.
Chronofy: 시간 인식 검색-증강 생성에서 정보 유효성을 위한 시간-논리 감쇠 아키텍처
Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation
검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM) 출력을 그라운딩하기 위해 외부 지식을 검색하고 통합한다. 그러나 현재 RAG 아키텍처는 시간적 출처와 관계없이 검색된 모든 사실을 동등하게 유효한 것으로 취급하여, 그럴듯하지만 구식인 사실이 출력을 오염시키는 시간적 환각(temporal hallucination)을 초래한다. 어제의 임상 검사 결과는 실행 가능하지만, 6개월 전의 동일한 검사 결과는 노이즈이다. 우리는 시간적 유효성을 RAG 시스템의 표현, 검색, 추론 층에 직접 내재화하는 시간-논리 감쇠 아키텍처(TLDA)를 구현하는 3층 신경-기호 프레임워크인 Chronofy를 제안한다. 층 1은 Matryoshka 임베딩 내에 전용 시간 부공간을 확보하여 사실의 시점이 표현에서 구조적으로 제거될 수 없도록 한다. 층 2는 그래프 기반 검색에 학습 가능한 지수 감쇠 함수를 통합하며, 여기서 감쇠 계수 $β_j$는 잠재 과정의 평균 회귀(mean-reversion)율의 2배에 대한 근사로서 베이지안 의사결정 이론에 기반한다. 층 3은 Signal Temporal Logic(STL) 견고성(robustness) 함수를 적용하여 LLM 출력 신뢰도가 아닌 검색된 지식의 시간적 유효성을 평가하고, 가능론적 최약 고리(weakest-link) 원칙을 적용하여 추론 사슬에서 가장 많이 감쇠된 증거에 의해 출력 신뢰도를 제한한다. 우리는 시간적 지식 그래프 예측 벤치마크, TimE 시간 QA 벤치마크, 도메인 특화 민감도 분석에서 Chronofy를 평가하였으며, 명시적 시간 감쇠 모델링이 검색 정밀도를 향상시키고 시간적 환각을 줄이며, 시간적 맥락이 불충분할 때 원칙적인 데이터 재획득 트리거를 가능하게 함을 보여준다.
GraphContainer: 그래프 RAG 방법 비교 및 디버깅을 위한 통합 플랫폼
GraphContainer: A Unified Platform for Comparing and Debugging Graph RAG Methods
Graph RAG는 특히 다중 홉(multi-hop) 질의응답에서 LLM의 환각(hallucination)과 오래된 지식을 완화한다. 그러나 기존 접근법들은 여전히 매우 파편화되어 있고 상호 호환되지 않는다. 서로 다른 프레임워크 간 그래프 형식의 구조적 이질성과 세밀한 시각화 도구의 부재는 검색(retrieval) 동작을 평가하고 비교하기를 극히 어렵게 만든다. 이 격차를 해소하기 위해, 우리는 다양한 그래프 RAG 워크플로를 통합하고 시각화하도록 설계된 새로운 플랫폼 GraphContainer를 제안한다. GraphContainer는 두 가지 핵심 구성 요소를 갖는다: (1) 다양한 형식의 그래프를 원활하게 표준화하는 통합 그래프 표현(UGR) 층, (2) 단계별 검색 과정을 추적하고 시각적으로 렌더링하는 Graph Recorder. 대화형 웹 인터페이스를 통해, 우리는 GraphContainer가 이질적인 그래프를 가져오고 그래프 RAG 방법에 대한 실시간·추적 가능한 시각적 디버깅을 수행할 수 있음을 보여준다. 궁극적으로, 우리는 GraphContainer가 다양한 그래프 형식과 검색 전략의 통제된 비교를 가능하게 하여, 연구자와 실무자가 최적의 그래프 RAG 파이프라인을 설계하는 데 있어 진입 장벽을 낮추는 방법을 보여준다. 시연 영상은 https://youtu.be/O02eNJLwkU0 에서 확인할 수 있다.
DO-RAG: A Domain-Specific QA Framework Using Knowledge Graph-Enhanced Retrieval-Augmented Generation
구조 기반 지식 그래프를 통한 법률 추론의 검증 가능한 검색
Verifiable Retrieval for Legal Reasoning through Structure-driven Knowledge Graph
의료나 법률과 같이 신뢰성이 중요한 환경에서의 모든 자동화는 투명하고 검증 가능해야 합니다. 현재의 대규모 언어 모델(LLM) 기반 시스템은 여러 장점에도 불구하고 고유한 블랙박스 특성으로 인해 이러한 요구사항을 충족하지 못합니다. 검색-증강 생성(RAG)은 해석 가능한 관련 문서에 생성 과정을 그라운딩(grounding)하여 인공지능의 '환각(hallucination)' 위험을 줄이고, 잠재적으로 초기 생성 컨텍스트의 검증을 가능하게 하고자 합니다. 그러나 잠재적 출처의 수와 규모가 증가함에 따라 단순한 검색 방식은 핵심적인 컨텍스트 요소를 간과하여 성능이 저하되는 경향이 있습니다. 본 논문에서는 독일 법전(German Legal Code) 환경에서 이 문제를 해결하고자 합니다. 출처 문서 탐색 및 검색을 위해 구조 기반 파싱으로 지식 그래프(Knowledge Graph, KG)를 구축하고, 여러 KG 기반 청킹(chunking) 및 검색 전략을 비교하며 이들이 검색된 인용의 정확도에 미치는 영향을 평가합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.