arXiv:2606.17182v1 cs.LG

다중 에이전트 대규모 언어 모델 시스템의 동시성 이상 현상에 대한 검증된 탐지 및 방지

Verified Detection and Prevention of Concurrency Anomalies in Multi-Agent Large Language Model Systems

Sajjad Khan

제출 2026-06-15

한국어 초록

다중 에이전트 대규모 언어 모델(LLM) 시스템은 메모리 저장소, 벡터 인덱스, 툴 레지스트리를 통해 상태를 공유한다. 우리는 이러한 공유를 결정론적 생성 시맨틱스—지속 실행 엔진이 결정론적 재현으로 강제하는 체계—하에서의 장기 실행 읽기-생성-쓰기 연산으로 모델링하고, TLA+에서 네 가지 동시성 이상 현상을 형식화한다: stale-generation, phantom-tool, causal-cascade, tool-effect reordering. 이들은 고전적 격리 이상 현상의 구조적 유사체이며, 각각 TLC 반례를 가진다. 이 이상 현상들에 대한 배제 격자는 자명하다; 본 논문의 기여는 기계적으로 검증된 실현 가능성과 그 안에서 하나의 극대 사슬 $L_0 \subsetneq \cdots \subsetneq L_4$의 엄격한 분리이며, 우리가 아는 한 이러한 런타임에 대한 최초의 기계 검증 일관성 계층이다. 274개의 Verus 검증 조건(assume 0개, admit 0개; 신뢰 기반: 두 개의 구조적 공리 및 뮤텍스 대응)의 개발은 탐지기가 명세에 대해 건전하고 완전함을 증명하며 각 런타임이 자신의 회피 집합임을 증명한다. 세 개의 배포된 Rust 런타임이 L0-L1을 실현하며(비관적 잠금, 직렬화 가능 스냅샷 격리, default-SI), 각각 stale-generation에 대해 검증되고 상태 기계로 정제된다; L2-L4는 의존성 없는 방지 쌍(A3, A6, A2: 0/1000 대 1000/1000)으로 실행 모드 검증되며, L2는 세 모델 패밀리에 걸쳐 실시간으로 실행된다(A3는 철회된 120개 세션 전체에서 방지됨). 우리는 ByteDance의 deer-flow에서 발생하는 무음 손실 업데이트를 재현하여 그 수정을 검증된 $L_0 \to L_1$ 정제로 형식화하고, 수정되지 않은 출력에서 LangGraph의 ToolNode에서의 tool-effect reordering을 제시하며, 이는 L3 커밋 순서 시퀀서에 의해 제거된다. 검증된 탐지기, 정제, 실현 가능성 아티팩트가 본 논문의 기여이며, 현상과 격자는 고전적이다.

원문 초록

Multi-agent LLM systems share state through memory stores, vector indices, and tool registries. We model such sharing as long-running read-generate-write operations under deterministic-generation semantics -- the regime durable-execution engines enforce by deterministic replay -- and formalize four concurrency anomalies in TLA+: stale-generation, phantom-tool, causal-cascade, and tool-effect reordering, structural analogues of classical isolation anomalies, each with a TLC counter-example. The exclusion lattice over these anomalies is trivial; the contribution is the mechanically verified realizability and strict separation of one maximal chain within it, $L_0 \subsetneq \cdots \subsetneq L_4$, to our knowledge the first machine-checked consistency hierarchy for such runtimes. A development of 274 Verus obligations (zero assume, zero admit; trust base: two structural axioms and a mutex correspondence) proves the detectors sound and complete against the specifications and each runtime its avoidance set. Three deployed Rust runtimes realize L0-L1 (pessimistic locking, serializable snapshot isolation, default-SI), each verified against stale-generation and refined to its state machine; L2-L4 are exec-mode-verified with dependency-free prevention twins (A3, A6, A2: 0/1000 versus 1000/1000), and L2 is run live across three model families (A3 prevented in all 120 retracted sessions). We reproduce a silent lost update in ByteDance's deer-flow, formalizing its fix as a verified $L_0 \to L_1$ refinement, and exhibit tool-effect reordering in LangGraph's ToolNode on unmodified output, removed by an L3 commit-order sequencer. The verified detector, refinements, and realizability artifacts are the contribution; the phenomena and lattice are classical.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.17182v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13455v1cs.AI공통 태그 Large Language Model, multi-agent systems

에이전틱 대규모 언어 모델

Agentic Large Language Models

대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.

arXiv:2610.13703v1cs.AI공통 태그 Large Language Model, multi-agent systems

에이전틱 웹 기술 스택을 위한 기준선 평가

A Baseline Assessment for the Agentic Web Technology Stack

대규모 언어 모델(LLM) 기반 에이전트(agent)를 위한 프로토콜, 프레임워크 및 기술이 빠르게 제안되면서 최첨단 AI 솔루션을 구축하려는 이들에게 복잡한 상황이 야기되고 있습니다. 다양한 프로토콜, 프레임워크 및 라이브러리가 어떻게 함께 작동하여 에이전틱 웹(Agentic Web) 솔루션을 구성하는지에 대한 평가가 없다면, 개발자와 조직은 에이전틱 웹 생태계에 참여하기도 전에 다양한 과제(예: 역량 강화, 거버넌스, 인프라)에 직면하게 됩니다. 이러한 맥락에서 본 논문에서는 에이전틱 웹 평가를 수행하기 위한 시스템인 MASTIF(Multi-Agent System TestIng Framework)를 제안하고, 300개의 Mind2Web 벤치마크(benchmark) 태스크를 대상으로 3개의 LLM, 3개의 프로토콜, 4개의 에이전트 구현 프레임워크를 포함하는 에이전틱 웹 기술의 기준선(baseline) 평가를 제시합니다. 실험 결과에 따르면 태스크에 특화된 기술 스택을 선택할 경우 태스크 완료율, 효율성 점수 및 사회적 가치 안정성 점수가 향상될 수 있으며, 장황함(verbosity)과 태스크 완료 시간을 줄일 수 있는 것으로 나타났습니다. 본 논문에서 제시된 결과를 통해, 빠르게 발전하는 복잡한 환경 속에서 멀티 에이전트 시스템을 설계, 평가 및 개발하고자 하는 이들을 위한 지표 및 결과 측면의 기준선을 제시할 수 있을 것으로 기대합니다.

arXiv:2610.10628v1cs.SE공통 태그 Large Language Model, multi-agent systems

Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크

Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking

소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.

arXiv:2610.10906v1cs.AI공통 태그 Large Language Model, multi-agent systems

분위기 읽기: LLM의 규범적 역량(Normative Competence)의 기초, 설계, 그리고 과제

Reading the Room: Foundations, Design, and Challenges of Normative Competence in LLMs

인간 공동체는 규범 체계(normative system)의 지배를 받는다: 이는 허용 가능한 행동을 규정하는 규범(norm)을 만들어내는 공유된 표준으로, 공동체의 제재를 통해 강제된다. 점점 더 자율적으로 작동하는 AI 시스템을 이러한 규범에 정렬(alignment)시키는 것은 핵심적인 정렬 과제이며, 규범의 수가 방대하고 빠르게 변화하며 종종 임의적(예: 복장이나 언어 관습)이라는 사실 때문에 더욱 복잡해진다. 따라서 정렬에는 규범적 역량(normative competence), 즉 고정된 사전학습 지식에 의존하지 않고 오직 상호작용만으로 공동체가 강제하는 규범을 파악하는 능력이 필요하다. 우리는 사전학습 노출과 분리된 상태에서 규범적 역량을 연구하기 위해, 토론에 대한 접근이 합성 규범(synthetic norm)에 의해 통제되는 다중 에이전트(multi-agent) 커뮤니티 토론 환경을 소개한다. 우리는 기준선(baseline) LLM 에이전트가 규범을 학습하는 것이 정확도를 향상시킬 수 있는 상황에서도 규범 학습에 실패함을 보인다. 이어서 규범 추론(inference)을 위한 아키텍처 구성 요소인 다양한 규범 모듈(normative module)을 실험한 결과, 규범 준수가 규범의 유형과 규범 모듈을 구동하는 모델 모두에 크게 좌우된다는 것을 발견했으며, 이는 일반화 가능성이 부족함을 시사한다. 더 나아가, 특이하고 규범과 무관한 행동이 실제 규범과 함께 나타날 경우, LLM 에이전트는 비선택적 귀속 실패(unselective attribution failure)를 보인다: 즉, 강제된 규칙과 함께 특이한 잡음(noise)까지 무차별적으로 모방하며, 이러한 패턴은 불필요한 행동을 모방하는 것에 명시적으로 불이익을 주더라도 지속된다. 우리가 아는 한, 본 연구는 LLM의 규범적 역량을 조작적으로 정의하고 평가한 최초의 연구로서, 현재의 AI 시스템이 행동 모방(behavioral mimicry)에는 뛰어나지만 사회적으로 강제되는 질서를 식별하는 능력은 부족함을 보여준다.

arXiv:2609.34060v2cs.LG공통 태그 Large Language Model, multi-agent systems

KVCMAS: 멀티 에이전트 시스템의 공유 컨텍스트를 위한 효율적인 KV 캐시 보정

KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems

프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.

arXiv:2610.02396v1cs.LG공통 태그 Large Language Model, multi-agent systems

Inherit-MAS: 워크플로우 및 실행 상속을 통한 다중 에이전트 시스템의 테스트 시간 진화

Inherit-MAS: Test-Time Evolution of Multi-Agent Systems through Workflow and Execution Inheritance

대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)은 특화된 에이전트들을 조율하여 복잡한 작업을 해결하지만, 효과적인 워크플로우를 사전에 설계하기는 어렵습니다. 테스트 시간 진화(Test-time evolution)는 실행 피드백을 활용하여 워크플로우를 개선하지만, 광범위한 수정은 유용한 구성 요소를 손상시킬 수 있으며, 변경되지 않은 요청을 재실행하면 불필요한 연산이 발생할 수 있습니다. 생물학적 진화에서 상속과 선택의 상호작용에서 영감을 받아, 본 연구에서는 워크플로우 및 실행 수준에서 상속을 명시적으로 도입한 Inherit-MAS를 제안합니다. 먼저 메타 모델이 명시된 역할, 통신 입력, 도구 권한을 갖는 작업자 에이전트들의 워크플로우를 합성하고, 별도로 프롬프트가 제공된 평가자(judge)가 실행된 각 후보의 점수를 매기고 결함을 진단합니다. 일반적인 정제 라운드에서 워크플로우 상속(\emph{workflow inheritance})은 가장 최근에 완료된 후보에서 시작하여, 도움이 되지 않는다고 판단된 제거 가능한 노드를 폐기할 수 있으며, 진단된 결함을 해결하기 위해 검증된 수정을 적용합니다. 새로운 후보가 실행될 때, 실행 상속(\emph{execution inheritance})은 완전히 해결된 요청 및 실행 컨텍스트가 일치하는 경우에만 저장된 적격 결과를 상속하여 불필요한 모델 및 도구 호출을 방지합니다. GPT-4o-mini를 작업자로 사용했을 때, Inherit-MAS는 WorkBench에서 55.4% 완료율을, HotpotQA FullWiki에서 49.7% 결합 F1을 달성하여 EvoAgent, EvoMAS, TacoMAS를 능가했습니다. Qwen3-32B 작업자를 사용했을 때도 두 벤치마크 모두에서 이러한 진화형 MAS 베이스라인들을 능가했습니다. 실행 상속을 비활성화한 동일한 컨트롤러를 재실행한 것과 비교했을 때, 실행 상속은 WorkBench에서 작업자 토큰 사용량을 29.1%, HotpotQA에서 34.6% 줄였으며, 전체 토큰 사용량은 각각 5.3% 및 18.1% 감소시켰습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.