레거시 문서에서 OSCAL로: 핵심 인프라의 위협 기반 지속적 컴플라이언스를 위한 MCP 기반 에이전트 파이프라인
From Legacy Documentation to OSCAL: An MCP-Based Agent Pipeline for Threat-Informed Continuous Compliance in Critical Infrastructure
한국어 초록
핵심 인프라에서 운영 기술(OT) 환경은 능동적 스캔이 불가능한 경우가 많지만, 위험 평가와 컴플라이언스를 위한 능동적 시스템 피드백은 여전히 필요하다. 본 논문은 자연어 시스템 설명을 출처가 검증된 지식 그래프와 NIST OSCAL 형식의 감사 준비 산출물로 변환하여 지속적 자동화 컴플라이언스 관리를 실현하는, 비침습적이고 MCP 기반의 멀티 에이전트 파이프라인을 제시한다. 이 아키텍처는 LLM 기반 추론을 권위 있는 위협 인텔리전스 소스에 대한 결정론적 지식 검색과 분리함으로써, 조작된 취약점 및 환각된 공격 경로의 위험을 줄인다. 수도 시설의 증거 기반 합성 시나리오에서 파이프라인은 CVE 재현율 0.90과 완벽한 D3FEND 재현율을 달성한다. 또한 스키마 유효 OSCAL 시스템 보안 계획(System Security Plan)과 OSCAL 보안 평가 보고서(Security Assessment Report)를 생성한다. 그러나 핵심 통찰은 MCP를 통한 그라운딩이 파이프라인에서 오류(예: 환각)를 완전히 제거한다는 것이 아니라, 오류를 자연어 설명으로부터의 자산 추출 첫 번째 단계로 이동시킨다는 점이다. 이 단계에서 잘못 추출된 단일 엔티티는 파이프라인의 후속 단계에서 실제로 존재하지만 무관한 CVE를 초래하여 시간과 자원을 소모할 수 있다. 그러나 인프라(예: 버전 번호, OS 등)는 일반적으로 알려져 있으므로, 이 접근 방식은 나머지 위험을 가시적이고 검증 가능하며 시간 효율적인 수동 검토에 적합한 형태로 만든다.
원문 초록
In critical infrastructure, operational technology environments often cannot be actively scanned, and yet active system feedback is needed for risk assessment and compliance. This paper presents a non-invasive, MCP-grounded multi-agent pipeline that converts natural-language system descriptions into source-verified knowledge graph and audit-ready artifacts in the NIST OSCAL format for continuous automated compliance management. The architecture decouples LLM-based reasoning from deterministic knowledge retrieval against authoritative threat-intelligence sources, reducing the risk of fabricated vulnerabilities and hallucinated attack paths. In an evidence-based synthetic scenario of a water utility, the pipeline achieves 0.90 CVE recall and perfect D3FEND recall. It generates a schema-valid OSCAL System Security Plan and an OSCAL Security Assessment Report. Nevertheless, the core insight is not that grounding via MCP eliminates errors (e.g., hallucinations) entirely from the pipeline, but that it shifts errors into the first phase of asset extraction from the natural language description. Here, a single incorrectly extracted entity can lead to genuine but irrelevant CVEs in subsequent stages of the pipeline, which consumes time and resources. However, it makes the remaining risk visible, verifiable, and suitable for a time-efficient manual review, since the infrastructure (e.g., version numbers, OS, etc.) is typically known.
요약
MCP 기반 멀티 에이전트 파이프라인을 통해 비침습적으로 자연어 인프라 문서를 NIST OSCAL 형식의 감사 준비 산출물로 변환하는 방법을 제시하며, 15개의 MCP 서버로 LLM 추론을 결정론적 위협 인텔리전스 검색과 분리해 환각 위험을 줄인다. 수도 시설 합성 시나리오에서 CVE 재현율 0.90, D3FEND 재현율 1.00을 달성했으며, 핵심 통찰은 그라운딩이 오류를 완전히 제거하는 것이 아니라 초기 자산 추출 단계로 집중시켜 수동 검토를 효율화한다는 점이다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.08288v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LabourCrew: 노동법에 대한 신뢰 가능한 적대적 심의 및 법령 추론을 위한 멀티 에이전트 RAG 프레임워크
LabourCrew: A Multi-Agent RAG Framework for Trustworthy Adversarial Deliberation and Statutory Reasoning over Labour Law
법령 기반 질의응답(statutory question answering)에서는 검증 불가능한 노동권 관련 답변이 심각한 법적 결과를 초래할 수 있으므로, 모든 주장이 단순한 관련성을 넘어 반드시 증거로 추적 가능해야 합니다. 기존 시스템은 이에 미치지 못합니다. 단일 패스(single-pass) 검색-증강 생성(RAG)은 증거 부족을 감지하지 못하며, 멀티 에이전트 법률 토론 시스템은 그라운딩(grounding)을 프롬프트 관례 수준으로 취급하여 에이전트가 검색되지 않은 증거를 인용하도록 허용합니다. 이러한 격차를 해결하기 위해, 세 가지 그라운딩 메커니즘을 중심으로 구축된 멀티 에이전트 RAG 프레임워크인 LabourCrew를 소개합니다. 첫째, 고정 길이 스팬 대신 장, 조항, 단서 조항, 상호 참조 구조를 명시적으로 연결하는 그래프 인덱스인 StatuteGraph, 둘째, 옹호인(advocate)과 해석인(interpreter)을 증거 원장에 국한하여 검색되지 않은 텍스트를 인용하는 것을 원천 차단하는 동시에, 개별 실패가 시스템 다운으로 이어지지 않고 점진적으로 저하되도록 옹호인을 병렬 실행하는 내결함성 감독 위원회로 구성된 증거 교환 프로토콜(Evidence Exchange Protocol), 셋째, 단정적인 수락/기각 결정을 신뢰 점수로 대체하고 오수락률(false-accept rate)에 대한 무분포 경계(distribution-free bound)를 확보하기 위해 등각 위험 제어(conformal risk control)로 임계값을 설정하는 보정된 신뢰 게이트(Calibrated Trust Gate)입니다. 7개 추론 범주와 3개 난이도 단계에 걸친 방글라데시 2006년 노동법 기반의 500개 벵골어 문항 세트인 LabourActQA에서 평가를 수행했습니다. 본 프레임워크는 실증적 오수락률을 목표치($\alpha = 0.10$) 이내인 0.081로 낮추고, HyDE RAG, Graph-RAG, Hierarchical RAG 대비 가장 높은 답변 관련성(Answer Relevancy)을 달성했으며(0.862 $>$ 0.839, 0.815, 0.828), 질문 난이도가 높아짐에 따라 급격한 성능 저하 없이 점진적으로 저하됩니다. 이러한 결과는 저자원 법령 도메인에서 법률 질의응답을 감사 가능하게 만드는 핵심이 검색 품질 단독이 아닌 보정된 기권(calibrated abstention)임을 보여줍니다.
신뢰할 수 있고 비용 효율적인 데이터 통합을 향하여: 순진한 RAG에서 에이전틱 RAG까지
Towards Trustworthy and Cost-Efficient Data Integration: From Naïve RAG to Agentic RAG
대규모 언어 모델(LLM)과 AI 에이전트는 제로샷 및 퓨샷 설정에서 데이터 통합에 대한 강력한 잠재력을 보여주었다. 그러나 지속적인 지식 격차로 인해 기업 환경에서는 여전히 정확도와 비용 측면에서 상당한 과제에 직면하고 있다. 본 논문은 검색-증강 생성(RAG) 워크플로 내에서 동작하는 지식 그라운딩 LLM과 에이전트를 통해 신뢰할 수 있고, 확장 가능하며, 비용 효율적인 통합을 구상한다. 여기서 신뢰성은 증거에 기반한 검증 가능한 추론을 의미하며, 통합 결정이 검색된 지식에 의해 투명하게 뒷받침되고, 환각에 강건하며, 과제 간 일관성을 유지하는 것을 말한다. 우리는 고전적 RAG에서 GraphRAG 및 KG-RAG(지식 그래프 기반 RAG)로의 진화를 추적하며, 이러한 패러다임이 파라미터 지식과 문맥 지식을 어떻게 연결하는지 강조한다. 이 궤적을 바탕으로, 자율적 다중 에이전트 시스템이 복잡한 통합 과제를 위해 적응적으로 계획하고, 검색하고, 정제하고, 추론하는 에이전틱 RAG로의 전환을 탐구한다. 우리는 대규모 기업 환경에서의 계산 병목을 해결하는 비용 효율적 통합을 위한 최적화 전략을 검토한다. 마지막으로, 신뢰할 수 있고 설명 가능하며 확장 가능한 지식 그라운딩 통합 시스템 구축을 향한 미해결 과제와 향후 방향을 개괄한다.
Chronofy: 시간 인식 검색-증강 생성에서 정보 유효성을 위한 시간-논리 감쇠 아키텍처
Chronofy: A Temporal-Logical Decay Architecture for Information Validity in Time-Aware Retrieval-Augmented Generation
검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM) 출력을 그라운딩하기 위해 외부 지식을 검색하고 통합한다. 그러나 현재 RAG 아키텍처는 시간적 출처와 관계없이 검색된 모든 사실을 동등하게 유효한 것으로 취급하여, 그럴듯하지만 구식인 사실이 출력을 오염시키는 시간적 환각(temporal hallucination)을 초래한다. 어제의 임상 검사 결과는 실행 가능하지만, 6개월 전의 동일한 검사 결과는 노이즈이다. 우리는 시간적 유효성을 RAG 시스템의 표현, 검색, 추론 층에 직접 내재화하는 시간-논리 감쇠 아키텍처(TLDA)를 구현하는 3층 신경-기호 프레임워크인 Chronofy를 제안한다. 층 1은 Matryoshka 임베딩 내에 전용 시간 부공간을 확보하여 사실의 시점이 표현에서 구조적으로 제거될 수 없도록 한다. 층 2는 그래프 기반 검색에 학습 가능한 지수 감쇠 함수를 통합하며, 여기서 감쇠 계수 $β_j$는 잠재 과정의 평균 회귀(mean-reversion)율의 2배에 대한 근사로서 베이지안 의사결정 이론에 기반한다. 층 3은 Signal Temporal Logic(STL) 견고성(robustness) 함수를 적용하여 LLM 출력 신뢰도가 아닌 검색된 지식의 시간적 유효성을 평가하고, 가능론적 최약 고리(weakest-link) 원칙을 적용하여 추론 사슬에서 가장 많이 감쇠된 증거에 의해 출력 신뢰도를 제한한다. 우리는 시간적 지식 그래프 예측 벤치마크, TimE 시간 QA 벤치마크, 도메인 특화 민감도 분석에서 Chronofy를 평가하였으며, 명시적 시간 감쇠 모델링이 검색 정밀도를 향상시키고 시간적 환각을 줄이며, 시간적 맥락이 불충분할 때 원칙적인 데이터 재획득 트리거를 가능하게 함을 보여준다.
GraphContainer: 그래프 RAG 방법 비교 및 디버깅을 위한 통합 플랫폼
GraphContainer: A Unified Platform for Comparing and Debugging Graph RAG Methods
Graph RAG는 특히 다중 홉(multi-hop) 질의응답에서 LLM의 환각(hallucination)과 오래된 지식을 완화한다. 그러나 기존 접근법들은 여전히 매우 파편화되어 있고 상호 호환되지 않는다. 서로 다른 프레임워크 간 그래프 형식의 구조적 이질성과 세밀한 시각화 도구의 부재는 검색(retrieval) 동작을 평가하고 비교하기를 극히 어렵게 만든다. 이 격차를 해소하기 위해, 우리는 다양한 그래프 RAG 워크플로를 통합하고 시각화하도록 설계된 새로운 플랫폼 GraphContainer를 제안한다. GraphContainer는 두 가지 핵심 구성 요소를 갖는다: (1) 다양한 형식의 그래프를 원활하게 표준화하는 통합 그래프 표현(UGR) 층, (2) 단계별 검색 과정을 추적하고 시각적으로 렌더링하는 Graph Recorder. 대화형 웹 인터페이스를 통해, 우리는 GraphContainer가 이질적인 그래프를 가져오고 그래프 RAG 방법에 대한 실시간·추적 가능한 시각적 디버깅을 수행할 수 있음을 보여준다. 궁극적으로, 우리는 GraphContainer가 다양한 그래프 형식과 검색 전략의 통제된 비교를 가능하게 하여, 연구자와 실무자가 최적의 그래프 RAG 파이프라인을 설계하는 데 있어 진입 장벽을 낮추는 방법을 보여준다. 시연 영상은 https://youtu.be/O02eNJLwkU0 에서 확인할 수 있다.
HG-RAG: 구조화된 지식 그래프를 위한 계층 유도 검색-증강 생성
HG-RAG: Hierarchy-Guided Retrieval-Augmented Generation for Structured Knowledge Graphs
검색-증augumentation 생성(RAG)은 대규모 언어 모델(LLM)의 출력 품질을 더 넓은 컨텍스트로 향상시키는 데 널리 성공적인 방법으로 입증되었다. 그러나 RAG 시스템은 일반적으로 평면(flat) 문서 저장소에서 컨텍스트를 검색하며, 쿼리가 구조화된 지식을 가로질러 계층적 또는 관계적 추론을 요구할 때 어려움을 겪는다. 본 연구는 계층적 지식 그래프에 대한 그래프 순회(graph-traversal)를 수행하여 언어 모델에 구조화된 컨텍스트를 제공하는 프레임워크인 HG-RAG(Hierarchy-Guided RAG)를 제안한다. 검색 파이프라인은 쿼리에서 명명된 개체(named entity) 앵커를 해석한 뒤, 필요에 따라 부모 노드를 따라 위로, 관계 이웃을 통해 옆으로, 자식 노드를 통해 아래로 컨텍스트를 확장한다. HG-RAG를 세 가지 세계 규모(18–800개 노드)와 네 가지 쿼리 유형(지역 사실, 계층적, 이웃, 다중 홉)에 걸쳐 밀집 검색 기준선과 비교 평가하였다. 결과에 따르면 HG-RAG는 계층적·관계적·다중 홉 추론 과제에서 평면 기준선을 지속적으로 능가하며, 환각을 줄이고 지역성 일관성(locality coherence)을 유지한다.
DO-RAG: A Domain-Specific QA Framework Using Knowledge Graph-Enhanced Retrieval-Augmented Generation
토론
이 논문과 연결된 포럼 글이 아직 없습니다.