FARS는 대규모 언어 모델 에이전트가 아이디어 생성, 계획, 실험, 논문 작성을 인간 개입 없이 자동으로 수행하는 완전 자동화 AI 연구 시스템으로, 첫 공개 배포에서 67개의 세부 AI/ML 주제에 걸쳐 166편의 완성된 논문을 생성했다. 282건의 구조적 인간 리뷰를 통한 평가 결과, FARS는 검토할 만한 수준의 연구 결과물을 대규모로 생산할 수 있음을 보였으나, 좁은 실험 범위, 방법론적 한계, 무결성 문제 등의 반복적인 실패 패턴도 확인되었다.
에이전틱 비즈니스 프로세스 관리(Agentic BPM)에서 LLM 기반 에이전트의 자율성과 프로세스 기술의 추적 가능성을 균형 있게 결합하기 위해, 프로세스 인식 여부와 오케스트레이션 주체에 따라 네 가지 오케스트레이션 옵션(OO1~OO4)을 분류하는 프레임워크를 제시한다. 각 옵션을 자율성, 태스크 특이성, 반응성, 정확성 보장, 추적·통제 가능성 기준으로 비교하고, 예측 조명 제어 시나리오 구현을 통해 정량적 평가 지표를 함께 제공한다.
Recent literature shows that large language models (LLMs) are useful for general-purpose tasks yet perform poorly on specific domain ones. One reason is the difficulty of supplying narrow context to a general-purpose model and of bounding the task it is asked to perform. It is possible to hypothesise that a multi-agent reformulation under process-control principles offers a route to address those points, since control theory provides a discipline of decomposing a system into elements of contained scope, each defending one controlled variable, with conflicts resolved by structural priority: MIN/MAX selector networks for CV-CV switching and split-range (split-parallel) logic for MV-MV switching. The present work proposes such a reformulation, derived from Advanced Regulatory Control (ARC) theory. Each feedback loop in the ARC chain is mapped to one specialised LLM operator agent carrying the loop's control-theoretic context (controlled variable, setpoint, chain priority, selector kind). The chain's interaction logic (MIN/MAX selectors, override paths) is encapsulated as a single orchestrator agent. Two orchestrator variants are tested: a deterministic rule chain, and a Claude-based LLM orchestrator at a slower tier. The control principles limit each agent's task and inform how its limitations are handled. The multi-agent system inherits the safety property of the ARC chain: every constraint conflict is resolved deterministically by the orchestrator, regardless of the LLM output. Evaluated on a dairy-barn ventilation case over a 4-day mixed-season scenario, Qwen 2.5 7B Instruct operator agents running offline on a 24 GB consumer GPU at a 5-minute cadence produce auditable trajectories, each paired with an operator-voice rationale that supports a control campaign logbook.
우리는 대규모 언어 모델(LLM) 출력 분포가 양식(modality), 에이전트, 시간 단계에 걸쳐 어떻게 결합되는지를 정량화하는 측정 프레임워크인 전염 텐서(Contagion Tensor)를 소개한다. 텐서로부터 결합 증폭 인수(CAF, Coupling Amplification Factor)를 도출하며, 이는 CAF = E[T_condition] / E[T_baseline] 형태를 공유하는 비율 기반 지표 집합으로, 부트스트랩 신뢰 구간을 갖는 무단위 기준선(baseline) 참조 측정값을 제공한다. CAF를 네 가지 변형으로 구체화하고, 완전한 2x2x2 블록-직교 시뮬레이션 설계에서 양식별 절제(ablation)와 함께 가장 강력한 변형을 평가한다. 절제 분석을 통해 이미지 조건의 명백한 초선형(super-linear) 효과(CAF = 1.40)가 이미지 섭동(perturbation) 모듈을 비활성화하면 선형 이하(sub-linear)(CAF = 0.87)로 붕괴되며, 이는 -0.53의 변화로 텍스트 조건에는 아무런 영향이 없음이 드러난다. 두 모델 패밀리인 DeepSeek-Chat(R=30)과 GPT-4o-mini(R=15, 실제 비전)에 걸친 실제 API 실험으로 이를 보완한다. 균일한 페르소나(persona) 하에서 텍스트 전용 통신은 두 모델 모두에서 CAF ≈ 1.0을 산출한다. 다양한 페르소나는 수렴(CAF = 0.88)을 유도한다. GPT-4o-mini에 대한 모델 내 비교 결과: C3(텍스트) CAF = 1.02 대 C5(실제 비전, R=30) CAF = 1.72 [1.700, 1.733], delta = +0.70으로, 시뮬레이션의 초선형 이미지 조건 예측을 검증한다. 11개 조건 중 5개는 실제 API에서 테스트되었으며 6개는 아직 검증되지 않은 상태이다. 우리의 기여는 두 가지 층위로 이루어진다: (1) 출력 분포 결합을 정량적으로 반증 가능하게 만드는 측정 도구; (2) 모든 모듈식 다중 에이전트 시뮬레이터가 진정한 결합을 설계 아티팩트(artifact)와 구별하기 위해 채택할 수 있는 이식 가능한 절제 프로토콜.
자율 에이전트들의 메시(mesh)에는 중심이 없다: 공유 클록도, 공유 모델도, 데이터를 수집하거나 재학습을 수행할 코디네이터도 존재하지 않는다. 메시의 역량은 각 에이전트가 피어들이 내보내는 투영(projection)을 단일 내부 상태로 접합(fold)하는 데 달려 있으며, 이는 비정기적이고 비예약적인 시간에 도착하는 관측으로부터 온라인으로 이루어지고, 가중치를 재학습할 수 없는 기질(substrate) 위에서 수행된다. 이 제약 조건들 각각은 단독으로는 다룰 수 있지만, 세 가지를 동시에 최적으로 접합하는 것은 불가능하다. 우리는 그러한 기질이 무엇이어야 하는지를 묻고, 비정기적·외생적 시간에 관측되는 자기진화 잠재변수(self-evolving latent) 모델로부터 두 가지 필요조건을 증명한다. 잠재변수가 변화하기 때문에 그 최적 추정량은 시간 변동적이며, 적응적 타임스케일이 필요하고 모든 고정 이득 필터는 엄격히 준최적(suboptimal)이다. 그리고 도착이 클록-프리(clock-free)이기 때문에 최적 추정치는 도착 간 경과 시간에 의존하는데, 이를 갭-블라인드(gap-blind) 네트워크는 어떤 너비나 깊이에서도 복원하지 못한다. 이 두 번째 조건은 용량과 무관하다: 스케일은 누락된 의존성을 대체할 수 없다. 두 조건은 연속시간 리퀴드(liquid) 클래스에서 교차한다. LSTM은 첫 번째 조건을 만족하고, 고정 연속시간 필터는 두 번째 조건을 만족하며, 다중 타임스케일 리퀴드 네트워크는 두 조건 모두를 만족한다. 합성 실험은 각각을 확인한다: 네트워크는 타임스케일을 달성하며, 분리(separation)는 정확하게 계산된다. 이 특성화는 필요조건이지 충분조건이 아니며, 고정 가중치 기질에 구속된다: 재학습이 자유로운 네트워크는 다른 수단으로 해당 클래스에 도달한다. 에이전트별로 증명된 필요성은 메시의 모든 에이전트에 구속되며, 이는 메시 인텔리전스에 대한 구조적 조건이다.
라이브 제품 데모는 소프트웨어 조직에서 반복적으로 발생하는 비용이 높은 활동이다: 발표자는 기능(feature)을 선택하고, 실행 중인 애플리케이션에서 해당 상호작용을 수행하며, 일관성 있게 설명하고, 실시간으로 질문에 답해야 한다. 기존 자동화는 일부 단편만을 다룬다 -- 범용 브라우저 에이전트는 인스트럭션 조건부 작업 완료를 목표로 하고, 데모 비디오 도구는 질문할 수 없고 인터페이스 변화에 조용히 오작동하는 고정된 MP4 아티팩트를 생성한다. 우리는 실행 중인 웹 애플리케이션과 소스 코드 저장소를 입력으로 받아, 세그먼트 동기화된 내레이션과 실시간 음성 질의응답을 갖춘 사전 리허설된 라이브 데모를 생성하는 멀티에이전트 시스템 Rhetor를 제안한다. 아키텍처적 기여는 다음과 같다: UI 탐험(exploration)과 소스 코드 분석을 이산적 집중 계층으로 태그된 특징(feature)으로 병합하는 크로스 모달 특징 표현, 탐험 중 관찰된 UI 요소로 제한되고 다중 전략 시맨틱 로케이터를 통해 디스패치되는 그라운딩된 스크립터(grounded scripter), 명시적 수렴(convergence)과 내레이션 전용 세그먼트로의 우아한 성능 저하를 갖춘 사전 발표 리허설 루프, 그리고 각 브라우저 액션을 해당 내레이션 세그먼트의 오디오 종료 이벤트에 연결하는 런타임 동기화 불변식. 공개 도메인 화이트보드 애플리케이션 Excalidraw를 포함한 네 개의 배포된 애플리케이션에 대한 여섯 번의 파이프라인 세션에서, 리허설러의 내부 로케이터 발화율(sigma-bar)은 147개의 스크립팅된 액션에 걸쳐 0.31에서 1.00 범위를 보인다; 대규모 작업(53개 액션, 전체 계층 분화)에서 sigma-bar는 약 0.92이며, 공개 도메인 기준점에서는 로케이터 복구 단계가 반복(iteration) 2에서 sigma-bar = 1.00으로의 수렴을 이끈다. 우리는 추가적으로 여섯 개의 애플리케이션 카테고리에 걸친 10가지 메트릭으로 구성된 벤치마크 프로토콜을 정의하며, 이는 사례 연구를 넘어 각 설계 선택이 긍정적으로 기여하는지를 검증할 것이다.
기존의 자율 연구 에이전트는 연구 과정의 일부를 지원할 수 있지만, 대부분의 시스템은 여전히 연구를 고립된 보조 작업이나 폐쇄형 워크플로우로 취급한다. 따라서 자율 과학에는 프로젝트, 에이전트, 디지털 및 물리적 자원을 조율하는 협업 인프라가 필요하다. 우리는 이를 코드 중심 실행 루프에서 연구 지향 협업 프로세스로의 전환으로 규정하며, 여기서는 질문, 증거, 참여자, 자원이 불확실성 하에 조율되어야 한다. 이 관점에서 에이전트는 AI 시스템, 인간 연구자, 팀, 연구소, 또는 조직 기반 참여자가 될 수 있다. 이를 위해 우리는 자율 연구 에이전트를 웹 규모의 과학적 협업으로 조율하기 위한 협업 인프라인 Clarus를 제시한다. Clarus는 연구를 개방적이고, 감사 가능하며, 귀속 가능하고, 자원 인식 가능한 다단계 협업 프로세스로 재정식화한다. 최소한의 프로젝트-에이전트-자원 객체 모델을 정의하고, 연구 응용(Research Application), 디지털 협업(Digital Collaboration), 물리적 기반(Physical Substrate), 물리적 세계(Physical World)의 네 개 레이어를 통해 과학적 협업을 구성한다. 핵심 모듈은 플러그형 메커니즘으로 구현되어 있어, Clarus가 작업 위험도, 협업 구조, 자원 제약에 적응할 수 있도록 한다. 통제된 논문 생성 사례 연구를 통해, Clarus가 연구 목표를 단계, 작업, 참여자에 걸쳐 추적 가능하고 검토 가능하며 귀속 가능하고 축적 가능한 협업 네트워크로 구성할 수 있음을 보인다. 객체 모델, 협업 프로토콜, 신뢰 메커니즘, 프로토타입 검증을 종합하여 개방형 연구 네트워크를 위한 초기 기반을 제공한다. Clarus는 현재 clarus.holosai.io에서 이용 가능하다.
International humanitarian law protects civilians from direct attack unless and for such time as they take direct part in hostilities, with the ICRC's 2009 Interpretive Guidance operationalising this rule through a three-criterion cumulative test. This paper argues that AI-mediated civilian cyber operations challenge the direct causation element of this test in a structurally specific way: when a civilian deploys an autonomous multi-agent cyber system of the kind recently demonstrated in offensive AI research, the "one causal step" standard fails because harm is produced by system-generated decisions made after human disengagement, and the integral-part requirement does not extend because it presupposes downstream human contributors whose conduct can be independently classified. The framework therefore defaults to treating such deployments as indirect participation, in tension with its purpose of capturing civilians who personally take part in hostilities. Beyond the doctrinal analysis, this paper identifies goal-specification granularity as the property on which the integral-part test's concreteness component implicitly turns, classifies AI-mediated operations along a five-level spectrum, and argues that existing technical AI governance instruments do not log or report this property.
Multi-agent AI systems can improve answer selection by allowing different language models to exchange reasoning traces, revise initial predictions, and support a final decision. However, such communication may also introduce reliability risks: reasoning from one agent can correct another agent's mistake, but it can also mislead an agent that was initially correct. This paper studies reliable multi-agent AI communication through reasoning exchange and runtime answer revision. We develop a framework in which agents first answer multiple-choice questions independently, then share reasoning traces and revise their decisions. We conduct numerical experiments where we evaluate whether this process improves accuracy, produces more positive than negative answer transitions, and remains effective across domains such as cybersecurity, networking, and general knowledge. The results help identify when multi-agent reasoning improves reliability and when it may propagate errors.
LLMs agents are increasingly used in multi-agent settings, yet their behaviour in sustainability games remains largely unexplored. This work investigates whether lying can emerge among LLM agents in a competitive sustainability game in which agents are informed that common resources can regenerate, although regeneration does not actually occur. We develop an agent-based model of a sustainability game in which agents manage industrial, military, and ecological resources, and interact through a network. LLM agents can observe neighbours' status, declare future attacks, receive permission to lie, and access reputation information, while rule-based agents provide an interpretable behavioural baseline. The results show that neighbour information strongly changes system dynamics, increasing attacks while improving biosphere retention and coexistence. Also, the presence of future declarations reduce extinction risk without suppressing conflict. Behaviourally, deception emerges even when agents are not explicitly allowed to lie, and explicit permission mainly increases bluffing and diversion rather than direct backstabbing. Finally, the presence of reputation memory and information about the current biosphere level reduces system ecological depletion. These findings suggest that deception can arise as an emergent behaviour in LLM-agent systems and that communication between LLM-agents could support sustainability while dealing with risk.
Increasingly autonomous agentic AI systems pose novel multi-agent risks, such as secret collusion via covert communication channels. The natural defence to these collusion attempts is to monitor plain-text communication, but the efficacy of monitors has been called into doubt by increasingly sophisticated model steganography; indeed, some theoretical schemes have been proposed that are information-theoretically or computationally indistinguishable from good-faith plain-text communication. In this paper, we demonstrate that the complexity of these schemes is no longer a safety barrier, as agentic coding models can already produce undetectable stegosystems when given realistic tool usage, such as code execution or accessing research papers through web searches. Agents also adapt when key ingredients are missing, for example, by adding model-sampling components or implementing related keyed coding schemes. We then frame tacit steganographic coordination between agents as a Schelling-point problem and introduce coordination metrics for estimating when two agents are likely to select compatible schemes without explicit prior agreement. Our results suggest a shift in the threat model for covert communication between AI agents, where the main barrier is no longer whether frontier agents can understand and implement sophisticated stegosystems, but coordination: whether independently acting agents can converge on compatible schemes, keys, and parameters. We find substantial convergence on broad scheme families but limited strict one-shot coordination, suggesting that shared artefacts, repeated interaction, and tool-mediated search are the settings where covert communication risks are most acute. Overall, our findings provide empirical grounding for the recent strategic confinement hypothesis, which assumes that capable agents can construct covert channels that survive monitoring.
다중 에이전트 대규모 언어 모델(LLM) 시스템은 환각을 억제하기 위해 검증자 및 비평 에이전트에 의존하는 경우가 많지만, 검증은 지연된다. 이 지연 동안 거짓 주장이 에이전트 네트워크를 통해 전파될 수 있다. 우리는 이 과정을 그라운딩 교정기 노드가 있는 그래프에서의 지연 합의로 모델링한다. 그라운딩 라플라시안에 의한 스펙트럴 분해는 검증 강도에 대한 폐쑤형 안정성 임계값을 제공한다: 너무 강하거나 너무 지연된 교정은 합의를 진동으로 바꿀 수 있다. 가장 불안정한 영역은 통신 지연과 검증 지연이 일치할 때 발생하며, 지연이 2일 때 임계값은 황금비의 역수이다. 동일한 프레임워크는 제한된 교정기 예산을 영향력 있는 노드에 할당하기 위한 초모듈러 배치 목적함수와 탐욕적 (1-1/e) 근사 규칙을 제공한다. 다섯 개의 오픈 모델에 걸친 실험은 예측된 강도-지연 진동을 확인한다. 대조적으로, 그라운딩 기반 사실적 답변은 진실을 흡수 경계로 만들어 효과를 제거하며, 이는 불안정성이 부호 신념 과제에 특정적이고 그라운딩 검증은 여전히 안정화적임을 시사한다.
다중 에이전트 시스템에서 대규모 언어 모델(LLM)이 평가자로 사용될 때, 명시적 프롬프트에 의해 유도되든 공유된 아키텍처 사전(prior)에 의해 유도되든, 그들의 전략 선호는 에이전트 네트워크를 통해 전파된다. 우리는 상호작용하는 LLM 에이전트 간 평가자 선호가 어떻게 퍼지는지 측정하기 위한 공식 프레임워크인 Contagion Networks를 제안한다. DeepSeek-chat을 사용한 통제된 3-에이전트 실험에서 세 가지 서로 다른 평가자 선호 프로필(structured, balanced, evidence-based)을 적용하여 Cross-Agent Contagion Matrix Gamma_3를 측정한 결과, 선호가 에이전트 간에 일관되게 전파됨을 확인했다(gamma ∈ [0.157, 0.352]). 중립 프롬프트 대조 실험은 직관에 반하는 결과를 보여준다: 전염(contagion)의 동인으로서 명시적 선호 프롬프트보다 공유된 아키텍처 사전이 우세하다(rho_neutral = 1.498 vs. rho_mixed = 1.299; 프롬프트 기여도: -63.5%). 스펙트럴 반경 rho(Gamma_N)에 의해 지배되는 세 가지 전파 체제(regime)를 식별하고, 동일한 에이전트가 체인(chain) 토폴로지에서는 선호 전염을 억제하지만(beta_3 = 0.0126 ± 0.0038, 95% CI [0.0089, 0.0163], n=4 seeds) 완전 연결(fully-connected) 토폴로지에서는 연쇄(cascade)됨을(Delta H_avg = -0.020) 보여준다 — 이 토폴로지 의존적 체제 전이는 동질(homogeneous) 및 교차 모델(cross-model) 에이전트 풀 모두에서 검증되었다(rho^cross = 1.296 ± 0.016, n=4). 평가자 위원회 크기를 k=1에서 k=3으로 늘리면 유효 전염을 68.9% ± 14.1% 감소시킴을 보여준다(n=4 seeds), 이는 실행 가능한 완화 전략을 제공한다. 오픈소스 Contagion Network 실험 프레임워크를 공개한다.
정적 챗봇에서 지속적 메모리, 도구 사용 프로토콜, 다중 에이전트 협업을 갖춘 자율 에이전트로의 전환은 AI 위협 지형을 근본적으로 확장했다. 경계 보안(perimeter security)과 학습 시점 정렬(alignment)과 같은 현재의 방어 메커니즘은 에이전트의 능동적 추론 루프 외부에 머물러 있다. 따라서 이들은 부족하다: 완전히 정렬된 에이전트조차도 메모리 포이즈닝(memory poisoning), 도구 체인 조작, 또는 다중 에이전트 프로토콜 공격을 통한 런타임 하이재킹에 매우 취약하다. 이 핵심 공백을 해소하기 위해, 우리는 에이전트의 인지 루프 내부에 직접 내재된 최초의 생물학적 영감을 받은 내인성(endogenous) 방어 아키텍처인 Agent-Native Immune System(ANIS)을 제안한다. 우리 프레임워크는 네 가지 주요 기여를 제시한다. 첫째, 6층 Immune Tower(L0-L5)를 설계하며, Barrier Immunity(L1)를 비인지적, 물리-논리적 격리 층으로 명확히 통합한다. 둘째, Agent Viruses와 Agent Vaccines에 대한 통합 분류체계를 확립하고, 피상적인 비파라미터(non-parametric) 방어와 견고한 파라미터(parametric) 백신 간의 핵심적 구분을 형식화한다. 셋째, Harness Triad(Meta, Self, Auto)를 개념화한다—이는 지속적 면역 학습(Continual Immune Learning, CIL)을 구동하는 자기 모니터링, 메타인지적 자동화 백본으로, 백신이 새로운 위협에 동적으로 적응할 수 있게 한다. 마지막으로, 모델 정렬과 에이전트 면역 사이의 엄밀한 이론적 경계를 확립한다: 정렬은 학습 중 정적인 "헌법적" 가치 기반을 제공하는 반면, ANIS는 런타임 중 동적인 "법 집행" 메커니즘 역할을 한다. 마지막으로 면역 프로토콜 표준화, Autoimmunity Rate(거짓 양성 개입률)와 같은 새로운 평가 지표, 집합 지능(collective intelligence) 생태계 내 병원체와 백신 간의 공진화(co-evolutionary) 역학 등 분야의 열린 과제를 제시하며 마무리한다.
추천 알고리즘 반복은 장인적이고 엔지니어에 종속된 프로세스에서 산업화된 연구 루프로 이동하고 있지만, 이 전환은 구조적 실행 병목에 의해 여전히 막혀 있다. 아이디어에서 출시까지의 사이클은 여전히 인간 엔지니어가 가설을 생성하고, 프로덕션 코드를 수정하며, A/B 실험을 롤아웃하고, 온라인 결과에 대한 원인 귀속을 수행하는 것에 의존한다. 따라서 혁신은 증거, 연산, 누적된 실험 지식과 함께 복리로 성장하기보다 인원 수에 선형적으로 확장된다. 본 논문은 이 생산 함수를 근본적으로 재구성하는 프로덕션 배포형 멀티 에이전트 시스템인 AgentX를 제시한다. AgentX는 자기 진화형 개발 엔진으로 작동하며, 어떤 수동 워크플로도 유지할 수 없는 규모와 속도로 추천 실험을 자율적으로 생성, 구현, 평가하고 이로부터 학습한다. 이 시스템은 폐쇄 루프에서 네 가지 긴밀히 결합된 단계를 조율한다. Brainstorm Agent는 과거 실험, 시스템 아키텍처, 데이터 분석, 외부 연구로부터의 증거를 순위가 매겨진 실행 가능한 제안으로 종합한다. Developing Agent는 저장소 기반(repository-grounded) 생성과 다차원 신뢰성 검증을 통해 각 제안을 프로덕션 준비 코드로 변환한다. Evaluation Agent는 가드레일 거부(guardrail-vetoed) A/B 판단과 함께 안전한 온라인 롤아웃을 수행하며, 성공과 실패 모두를 구조화된 지식 자산으로 전환한다. Harness Evolution 층(SGPO)은 실행 궤적을 의미적 그래디언트 업데이트로 증류하여 에이전트 자체를 지속적으로 정교화한다. 이를 통해 시스템은 단순히 자동화된 것을 넘어 자기 개선형이 된다.
대규모 언어 모델(LLM)은 조직 경계를 넘나들며 협력하는 자율 에이전트로 빠르게 진화하고 있으며, 데이터 소유권을 포기하지 않으면서도 분산된 전문성을 요구하는 공동 재난 대응, 공급망 최적화 및 기타 과업을 가능하게 한다. 그러나 교차 도메인 협업은 현재의 정렬(alignment) 및 격리(containment) 기법이 전제로 하는 통합된 신뢰 가정을 무너뜨린다. 격리된 상태에서는 양성인 에이전트라도 신뢰할 수 없는 피어(peer)로부터 메시지를 수신하면 비밀을 유출하거나 정책을 위반할 수 있으며, 이는 고전적인 소프트웨어 버그가 아니라 창발적 다중 에이전트 역학에 의해 유발되는 위험을 낳는다. 본 포지션 논문(position paper)은 교차 도메인 다중 에이전트 LLM 시스템의 보안 의제를 정리한다. 우리는 새로운 보안 과제의 7가지 범주를 제시하고, 각 범주에 대해 그럴듯한 공격, 보안 평가(evaluation) 지표, 향후 연구 지침도 함께 제시한다.
폐루프 실험에 소크라테스식 심문을 내재화한 다중 에이전트 AI 과학자 AHOIS를 제안해, 실제 다중 모드 광섬유 광학 플랫폼에서 사전 인코딩 방식·분류기·speckle 모델 없이 무작위 간섭 인코딩 가설과 작업 적응형 희소 측정 전략을 자율 발견·검증하고 실패 모드를 진단했다. 16×16 측정에서 MNIST 76.97%, Fashion-MNIST 83.17% 분류 정확도를 달성했으며, ablation에서 소크라테스식 심문이 물리적 일관성, 가설 완전성, 불확실성 보정, 실험 계획 타당성을 향상시킴을 보였다.
The NIS-2 Directive mandates robust Risk Management from thousands of small and medium enterprises. To ensure compliance, companies rely on established standards such as the German IT-Grundschutz (IT-GS) of the Federal Office for Information Security. However, IT-GS certification is resource-intensive and requires a high level of manual effort for documentation, validation, and revision, making scalable implementation difficult and expensive. Building upon our previous conceptual framework, this paper presents the technical implementation and empirical evaluation of a Multi-Agent System (MAS) architecture combined with Hybrid Retrieval Augmented Generation (HybridRAG) for the partial automation of IT-GS certification. We introduce two novel technical contributions to the MAS architecture to enforce the compliance rigor. The Hypothesis-Verification Loop in the Structural Analysis (SA) phase that cross-references agent-inferred dependencies against the Knowledge Graph to reduce hallucinations, and a Decoupled Reasoning Pipeline that separates agent-driven semantic extraction from the deterministic protection need inheritance. We utilize the BSI's "RecPlast GmbH" case study as a human expert-generated reference data set for end-to-end evaluation of the architecture and to quantify Precision, Recall, and F1-scores. The performance of the system is investigated across the phases of SA, Protection Needs Assessment (PNA), Modeling, and IT-GS Check. The empirical results reveal noticeable differences throughout the different steps of IT-GS. While the MAS demonstrates high efficacy in semantic tasks (SA and Modeling), significantly reducing manual effort through automated information extraction, quantitative results reveal limitations in logical reasoning phases (PNA and IT-GS Check) as the probabilistic nature of current LLMs struggles to meet the deterministic rigor required by IT-GS.
This paper presents a novel approach to perform semi-automated BSI IT-Grundschutz certification using a MultiLarge Language Model system (MLS) with Hybrid RetrievalAugmented Generation (HybridRAG). Facing the challenges of the Network and Information Security Directive 2 (NIS2) directive, a shortage of specialists, and high implementation costs, our MLS architecture aims to increase efficiency, reduce costs, and support certifiers in maintaining the quality of security concepts while meeting the increased demand for certifications of newly affected companies. The system combines Large Language Models (LLMs) and Knowledge Graphs (KGs) to support different phases of the certification process, including protection needs assessment, modeling, IT-Grundschutz check, measure consolidation, and subsequent realization. Our architecture addresses the growing demand for security concepts and offers an approach to handle the digital security challenges introduced by NIS2.
Large Language Models (LLMs) have shown promise for automated penetration testing, yet existing end-to-end black-box evaluations are highly susceptible to error cascading: failures in early reconnaissance can mask an agent's actual ability to exploit vulnerabilities. To more accurately characterize these capabilities, we propose a two-stage decoupled evaluation framework that separates exploit execution from reconnaissance. Using ground-truth injection and knowledge-driven ablation across 70 high-fidelity web vulnerability testbeds, our framework isolates exploitation performance from reconnaissance noise. We empirically evaluate five open-source penetration-testing agents, covering multiagent, monolithic, and graph-driven architectures, on a strictly aligned subset of 50 representative vulnerabilities. The results reveal a substantial capability gap. With accurate vulnerability context, agents achieve a functional success rate of up to 90.0%, whereas autonomous reconnaissance, measured by targeted vulnerability recall, plateaus at approximately 50.0%, primarily due to failures in parsing unstructured telemetry. Cross-architectural analysis further reveals distinct capability niches: multi-agent isolation is more effective for long-sequence interactions such as de-serialization, while monolithic and graph-driven designs perform better on short-chain injections and cross-session access-control vulnerabilities, respectively. This decoupled evaluation work provides a fine-grained benchmarking protocol and an empirical basis for designing next-generation automated offensive security agents.