Large language models are making research scalable. We present \textsc{Agon}, a research orchestrator designed to probe the limits of automated research. \textsc{Agon} is built on six design principles: Prompt Economy, Future-Facing, Minimal Prompts, OmniDisciplinary, Massive Parallelism, and Zero-Code. We deployed \textsc{Agon} across domains using only brief topic descriptions as starting points and no human-written code. These deployments demonstrate scalability but also reveal previously unseen classes of failure that are difficult to address through prompt engineering. We organize these failures into a taxonomy along four dimensions: severity, fixability, visibility, and capability locus. Together, these results show that \textsc{Agon} is pushing research towards a new paradigm: machines scale, humans steer. Our code is publicly available at \href{https://github.com/AutoResearch-Factory/Agon/tree/lite}{this GitHub repository}.
LLM judges that score hallucination flag any statement that contradicts a reference fact. Agents in multi-agent LLM systems quote and dispute each other's claims, so such a judge can count a correct report of a teammate's error as a hallucination. An earlier version of this study, a preprint (arXiv:2606.21666v1), reported that broadcasting raised a hallucination rate from 0.492 to 0.658 (+34%) and called it contamination; this version withdraws that claim, and the preprint's runs cannot be re-scored. An unpublished revision of that harness reported 0.289 to 0.554 (+0.265, 95% CI [0.225, 0.305]), and its saved outputs are re-scored here. Under an analysis plan fixed before any judge call, three judges from three vendors labeled each of six facts in 1,832 outputs as asserted wrong, attributed to another source, asserted correct or absent. On values that outputs assert as their own, the broadcast effect was -0.0208 (95% CI [-0.0458, +0.0041]) on 10 Full-Broadcast trials: not distinguishable from zero, and equivalent to zero only within a post hoc margin of +/-0.0663 and under the plan's prompt. On these LLM-judge labels, reports of a teammate's wrong value accounted for nearly all of the Haiku travel effect. Scored for mentions, the judges reproduced the effect (+0.1996). With Llama agents, 2 of 40 teammate outputs asserted the wrong destination. One of twelve Claude judge-prompt combinations gave an asserted increase (Sonnet 4.6, one paraphrase: +0.0246, 95% CI [+0.0055, +0.0436]). In 40 new trials per arm, judged by Claude models like the agents, the asserted difference was -0.0505 when both judges agreed and +0.0161 (95% CI [+0.0024, +0.0299]) when either did. Main limit: the labels have no human validation; human labels for 120 outputs are pending. The outputs come from one harness and 13 hand-written scenarios, so the shares do not transfer.
For robots to work reliably in commercial and industrial applications, recent advances in agentic coding systems have potential to combine interpretable robot programming with the open-world adaptability of model-free policies. We focus on "Variational Automation" (VA), a class of tasks that have larger variations in object geometry and pose than fixed automation. Model-free policies often struggle to close the reliability gap for VA tasks, which must be executed persistently and reliably in commercial and industrial applications. Motivated by prior work on Task and Motion Planning (TAMP) and the Robot Operating System (ROS), we introduce Graph-as-Policy (GaP), a multi-agent coding harness that generates directed computation graphs with perception, planning, and control nodes from a Modular Open Robot Skill Library (MORSL). GaP generates an internal simulation environment to rehearse task instances with different graphs in parallel to iteratively refine the graph structure and parameters to improve success rates and throughput. Evaluation with 8 new open VA task benchmarks, 4 in simulation and 4 in real-world, suggests that GaP can achieve success rates that significantly outperform baselines. Details, code, and data: https://graph-robots.github.io/gap
This monograph provides an introduction to mean field reinforcement learning through the lens of Markov decision processes arising from large-population stochastic control with mean field interactions and common noise. Starting from the connection between multi-agent reinforcement learning and mean field control, it develops the probabilistic, mathematical, and control-theoretic framework needed to formulate representative-agent learning problems, analyze their relationship with finite-population systems, and study both general and linear-quadratic models. The presentation includes dynamic programming principles, propagation-of-chaos limits, and theoretical analyses of tabular Q-learning and policy-gradient methods. It also discusses numerical implementations, including tabular schemes and deep reinforcement learning methods such as deep deterministic policy gradient. The goal is to give readers a coherent bridge between mean field control theory and reinforcement learning methodology, emphasizing the mathematical structure of the problems and the design of tractable learning approaches for large stochastic populations.
Experience learning lets large language model agents reuse lessons through external memory without updating model parameters. However, reflection can endorse execution errors and store them as future guidance, a failure mode we call the Self-Confirmation Trap. We propose EDV, an Execute-Distill-Verify framework for offline experience construction. Heterogeneous agents independently execute each task; a third-party distiller compares their trajectories and environmental feedback to extract candidate lessons; and the executors separately review each candidate, retaining only unanimously approved lessons. Evaluation uses a single solver retrieving from the frozen memory bank. Experiments on $\tau^2$-bench, Mind2Web, and MMTB show improved revisited-task performance, with additional evidence of within-domain transfer to held-out tasks on $\tau^2$-bench. On an annotated Retail subset, EDV reduces the Self-Confirmation Trap Rate from 11.0% with RB-MaTTS to 5.0%, indicating less retention of erroneous guidance.
대규모 언어 모델(LLM) 기반 에이전트(agent)를 위한 프로토콜, 프레임워크 및 기술이 빠르게 제안되면서 최첨단 AI 솔루션을 구축하려는 이들에게 복잡한 상황이 야기되고 있습니다. 다양한 프로토콜, 프레임워크 및 라이브러리가 어떻게 함께 작동하여 에이전틱 웹(Agentic Web) 솔루션을 구성하는지에 대한 평가가 없다면, 개발자와 조직은 에이전틱 웹 생태계에 참여하기도 전에 다양한 과제(예: 역량 강화, 거버넌스, 인프라)에 직면하게 됩니다. 이러한 맥락에서 본 논문에서는 에이전틱 웹 평가를 수행하기 위한 시스템인 MASTIF(Multi-Agent System TestIng Framework)를 제안하고, 300개의 Mind2Web 벤치마크(benchmark) 태스크를 대상으로 3개의 LLM, 3개의 프로토콜, 4개의 에이전트 구현 프레임워크를 포함하는 에이전틱 웹 기술의 기준선(baseline) 평가를 제시합니다. 실험 결과에 따르면 태스크에 특화된 기술 스택을 선택할 경우 태스크 완료율, 효율성 점수 및 사회적 가치 안정성 점수가 향상될 수 있으며, 장황함(verbosity)과 태스크 완료 시간을 줄일 수 있는 것으로 나타났습니다. 본 논문에서 제시된 결과를 통해, 빠르게 발전하는 복잡한 환경 속에서 멀티 에이전트 시스템을 설계, 평가 및 개발하고자 하는 이들을 위한 지표 및 결과 측면의 기준선을 제시할 수 있을 것으로 기대합니다.
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
인간 공동체는 규범 체계(normative system)의 지배를 받는다: 이는 허용 가능한 행동을 규정하는 규범(norm)을 만들어내는 공유된 표준으로, 공동체의 제재를 통해 강제된다. 점점 더 자율적으로 작동하는 AI 시스템을 이러한 규범에 정렬(alignment)시키는 것은 핵심적인 정렬 과제이며, 규범의 수가 방대하고 빠르게 변화하며 종종 임의적(예: 복장이나 언어 관습)이라는 사실 때문에 더욱 복잡해진다. 따라서 정렬에는 규범적 역량(normative competence), 즉 고정된 사전학습 지식에 의존하지 않고 오직 상호작용만으로 공동체가 강제하는 규범을 파악하는 능력이 필요하다. 우리는 사전학습 노출과 분리된 상태에서 규범적 역량을 연구하기 위해, 토론에 대한 접근이 합성 규범(synthetic norm)에 의해 통제되는 다중 에이전트(multi-agent) 커뮤니티 토론 환경을 소개한다. 우리는 기준선(baseline) LLM 에이전트가 규범을 학습하는 것이 정확도를 향상시킬 수 있는 상황에서도 규범 학습에 실패함을 보인다. 이어서 규범 추론(inference)을 위한 아키텍처 구성 요소인 다양한 규범 모듈(normative module)을 실험한 결과, 규범 준수가 규범의 유형과 규범 모듈을 구동하는 모델 모두에 크게 좌우된다는 것을 발견했으며, 이는 일반화 가능성이 부족함을 시사한다. 더 나아가, 특이하고 규범과 무관한 행동이 실제 규범과 함께 나타날 경우, LLM 에이전트는 비선택적 귀속 실패(unselective attribution failure)를 보인다: 즉, 강제된 규칙과 함께 특이한 잡음(noise)까지 무차별적으로 모방하며, 이러한 패턴은 불필요한 행동을 모방하는 것에 명시적으로 불이익을 주더라도 지속된다. 우리가 아는 한, 본 연구는 LLM의 규범적 역량을 조작적으로 정의하고 평가한 최초의 연구로서, 현재의 AI 시스템이 행동 모방(behavioral mimicry)에는 뛰어나지만 사회적으로 강제되는 질서를 식별하는 능력은 부족함을 보여준다.
소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.
에이전틱 AI(Agentic AI) 시스템은 계획(planning), 도구 사용, 메모리, 상호작용 및 적응을 결합한 다단계 궤적(trajectory)을 통해 동작합니다. 이러한 동작 특성으로 인해 수용 가능한 시스템 동작이 시간에 따라, 그리고 변화하는 환경 조건 하에서 결정이 어떻게 전개되는지에 좌우되므로, 검증(validation) 실무는 기존의 컴포넌트 테스트와 단발성 입출력 평가를 넘어서는 수준으로 확장됩니다. 본 체계적 매핑 연구(systematic mapping study)는 에이전틱 시스템의 검증 문제를 규명하기 위해 에이전트 평가, 소프트웨어 보증, 사이버-물리 시스템, 런타임 모니터링 및 규제 지침에 걸친 262편의 논문을 종합합니다. 본 검토는 행동적, 안전성(safety), 시간적, 규제적, 다중 에이전트 관심사를 다루는 5차원 분류 체계를 중심으로 구성되며, 해당 분류 체계를 사용하여 현재의 접근 방식을 매핑하고 접근 방식과 차원 간의 밀집 및 희소 조합을 식별합니다. 생성된 맵에 따르면 문헌은 행동 평가(262편 중 105편)에 집중되어 있으며 시간적 타당성(14편)이 가장 미흡한 것으로 나타났습니다. 규제 관련 연구는 주로 IEEE 색인 학술 행사에서 발표된 보증 케이스(assurance cases) 및 규제 분석에 기반하고 있으며, 다중 에이전트 연구는 주로 벤치마크에 집중되어 있습니다. 세 가지 교차 도메인 사례 연구(의료 케어, 산업 운영, 스마트 모빌리티 시스템)는 검토된 문헌에 기록된 실패 패턴을 바탕으로 안전이 중요한(safety-critical) 환경에서 5가지 분류 차원이 어떻게 반복적으로 나타나는지에 대한 운영적 예시를 제공합니다. 본 논문은 경계가 지정된 자율성(bounded-autonomy) 명세, 적대적 궤적 생성, 런타임 모니터링, 감사 가능한 증거 구조를 중심으로 한 수명 주기 지향적 연구 과제를 제시하며 마무리됩니다. 본 연구의 핵심 주장은 에이전틱 AI의 신뢰할 수 있는 배포가 고립된 컴포넌트만을 평가하는 것이 아니라 맥락 내에서 궤적을 검증하는 것에 달려 있다는 점입니다.
대부분의 저장소 수준 코드 변환 및 검증 기법은 새로운 프로그래밍 언어(PL) 쌍에 맞게 적응시키는 데 필요한 복잡한 엔지니어링 작업 때문에 단일한 소스-타겟 프로그래밍 언어(PL) 쌍에 대해서만 평가되어 왔다. 프로그래밍 에이전트는 저장소 수준 코드 변환과 검증에서 PL에 독립적인 방식을 가능하게 할 수 있다: 이들은 여러 PL에 걸쳐 코드를 생성할 수 있고, 각 PL의 분석에 특화된 기존 도구를 자율적으로 활용할 수 있다. 그러나 현재까지의 최신 기술(state-of-the-art)은 대규모 프로그램의 저장소 수준 코드 변환 및 검증을 위한 완전히 자율적인 에이전트 기반 접근법을 제공하지 못했다. 본 논문은 언어에 독립적인 저장소 수준 코드 변환 및 검증을 위한 자율적 멀티 에이전트 접근법인 ReCodeAgent를 제안한다. 사용자는 소스 PL로 작성된 프로젝트를 제공하고 타겟 PL을 지정하기만 하면, ReCodeAgent가 저장소 전체를 자동으로 변환하고 검증한다. ReCodeAgent는 여러 PL에 걸쳐 높은 변환 성공률을 달성한 최초의 기법이다. 우리는 ReCodeAgent의 효과를 4개의 대안적인 신경-상징적(neuro-symbolic) 및 에이전트 기반 접근법과 비교하여, 평균적으로 프로젝트당 1,975 LoC와 43개의 변환 단위를 가진 118개의 실제 프로젝트를 변환하였다. 이 프로젝트들은 6개의 PL과 4개의 PL 쌍을 포함한다. 실험 결과는 ReCodeAgent가 변환 정확성 측면에서 기존 기법들을 일관되게 능가하며, 정답(ground-truth) 테스트에서 테스트 통과율을 60.8% 향상시키고, 평균 비용은 15.3달러임을 보여준다. 또한 우리는 ReCodeAgent 실행 궤적(trajectory)에 대한 프로세스 중심 분석을 수행하여 그 절차적 효율성을 확인하였다. 마지막으로, 설계 선택(멀티 에이전트 대 단일 에이전트 아키텍처)이 ReCodeAgent 성능에 미치는 영향을 조사하였다: 평균적으로 테스트 통과율이 40.4% 감소하고, 실행 궤적은 28% 더 길어지며 지속적으로 비효율적이 된다.
산업 전반에서 머신러닝 시스템은 예측 및 이상 탐지부터 시계열 예측, 최적화(optimization), 스케줄링에 이르는 다양한 애플리케이션을 지원하고 있지만, 이러한 시스템을 운영화(operationalizing)하려면 애플리케이션 개발, 모델 파이프라인, 클라우드 인프라, 보안, 배포, 모니터링, 재학습, 복구 및 롤백 간의 긴밀한 조율이 필요합니다. 본 논문에서는 자연어 기반의 MLOps 클라우드 엔지니어링 작업을 검증된 저장소 및 운영 클라우드 배포로 변환하는 증거 게이트 기반 멀티 에이전트(multi-agent) 프레임워크를 제시합니다. 이 프레임워크는 그래프 엔지니어링, 루프 엔지니어링 및 에이전트 하네스 엔지니어링을 결합합니다. 상태 저장형 그래프 오케스트레이터(Graph Orchestrator)는 워크플로 의존성, 증거 게이트, 재시도 제한, 복구 경로 및 종료를 관리하면서 저장소 생성, 리뷰, 실행, 검증, 릴리스, 모니터링을 담당하는 특화된 에이전트들을 조율합니다. 중대한 생애주기 전이는 필요한 조건(predicate)이 검증 가능한 실행 또는 런타임 증거로 뒷받침될 때만 진행됩니다. 검증 실패 시 한계가 지정된 반추(reflection), 복구 및 재검증이 활성화되며, 실패, 드리프트, 성능 저하 또는 정책 위반에 대한 런타임 증거가 발견되면 한계가 지정된 적응, 복구 또는 롤백이 트리거될 수 있습니다. 에이전트 하네스 엔지니어링은 제어된 기능과 격리된 실행 환경을 통해 저장소 생성, 리뷰, 복구, 아티팩트 실행 및 클라우드 작업을 제한합니다. Google Cloud Platform 상에서 이 프레임워크를 구현하고 저장소 완성도, 제어된 실행, 증거 게이트 기반 전이, 클라우드 승격 및 한계 복구를 평가(evaluation)합니다. 실험 결과에 따르면 본 프레임워크는 근거 없는 생애주기 전이를 방지하고 각 실행을 검증된 운영 배포 또는 감사 가능한 최종 실패로 이끕니다.
대규모 언어 모델(LLM) 에이전트가 트레이딩 시스템에 점점 더 많이 활용되고 있으며, 여기서 모델의 추론, 도구 사용, 지속적인 의사결정은 트레이딩 가치를 창출할 것이라는 기대를 바탕으로 비용을 발생시킨다. 기존 평가는 일반적으로 성능 지표만을 보고할 뿐, 동적인 LLM 매개 의사결정이 유발된 비용을 측정 가능한 증분 수익으로 전환하는지 여부인 '에이전틱 생존 가능성(agentic viability)'을 살펴보는 경우는 드물다. 이 기준을 적용하기 위해 본 논문에서는 트레이딩 기록, 런타임 추적 로그, 배포 구성을 바탕으로 에이전틱 트레이딩 시스템을 평가하는 추적 기반 진단 툴킷인 TradeLens를 소개한다. TradeLens는 트레이딩 궤적을 재구성하고, 수익과 비용을 해석 가능한 근거에 귀속시키며, 에이전트가 스스로의 지능 비용을 감당하는지 여부와 그 이유를 진단한다. 본 연구에서는 배포에 관한 논의와 함께 백본 모델, 자본 규모, 트레이딩 빈도, 시스템 아키텍처 전반에 걸쳐 광범위한 분석을 수행한다. 실험 결과에 따르면 생존 가능성은 '지능의 수익 전환'에 달려 있다. DeepSeek-V3.2의 저조한 자산 선택이나 GLM-4.7의 부정적인 타이밍과 같이 모델마다 서로 다른 실패 패턴을 보이며, 자본 규모, 트레이딩 빈도, 아키텍처는 특히 의사결정에 귀속된 타이밍 가치에 미치는 영향을 통해 이러한 실행 결과에 주로 중요한 영향을 미친다. 이러한 발견은 LLM 기반 트레이딩 에이전트의 평가를 역량 중심의 성능 순위 매기기에서 지능의 수익 전환에 대한 추적 기반 진단으로 재구성한다. 소스 코드는 https://github.com/ParadooxAI/TradeLens 에서 확인할 수 있다.
본 논문에서는 AI 에이전트들로만 구성된 레딧(Reddit) 스타일의 소셜 미디어 플랫폼인 Moltbook에 대한 대규모 데이터 분석을 제시합니다. 약 185,000개의 활성 에이전트가 작성한 400만 개 이상의 게시물과 1,900만 개 이상의 댓글을 분석한 결과, AI의 집단 행동이 인간 온라인 커뮤니티에서 관찰되는 여러 통계적 규칙성을 동일하게 보임을 발견했습니다. 여기에는 활동의 꼬리가 두꺼운 분포(heavy-tailed distribution), 인기도 지표의 거듭제곱 법칙 스케일링(power-law scaling), 제한된 주의력 역학과 일치하는 시간적 감쇠 패턴 등이 포함됩니다. 그러나 인간의 행동과 대조되는 추천 수(upvotes)와 토론 규모 간의 서브리니어(sublinear) 관계 등 주요 차이점 또한 확인했습니다. 이러한 결과는 개별 AI 에이전트가 인간과 근본적으로 다를 수 있음에도 불구하고, 이들의 창발적(emergent) 집단 역학은 인간 사회 시스템과 구조적 유사성을 공유함을 시사합니다.
프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.
대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)은 특화된 에이전트들을 조율하여 복잡한 작업을 해결하지만, 효과적인 워크플로우를 사전에 설계하기는 어렵습니다. 테스트 시간 진화(Test-time evolution)는 실행 피드백을 활용하여 워크플로우를 개선하지만, 광범위한 수정은 유용한 구성 요소를 손상시킬 수 있으며, 변경되지 않은 요청을 재실행하면 불필요한 연산이 발생할 수 있습니다. 생물학적 진화에서 상속과 선택의 상호작용에서 영감을 받아, 본 연구에서는 워크플로우 및 실행 수준에서 상속을 명시적으로 도입한 Inherit-MAS를 제안합니다. 먼저 메타 모델이 명시된 역할, 통신 입력, 도구 권한을 갖는 작업자 에이전트들의 워크플로우를 합성하고, 별도로 프롬프트가 제공된 평가자(judge)가 실행된 각 후보의 점수를 매기고 결함을 진단합니다. 일반적인 정제 라운드에서 워크플로우 상속(\emph{workflow inheritance})은 가장 최근에 완료된 후보에서 시작하여, 도움이 되지 않는다고 판단된 제거 가능한 노드를 폐기할 수 있으며, 진단된 결함을 해결하기 위해 검증된 수정을 적용합니다. 새로운 후보가 실행될 때, 실행 상속(\emph{execution inheritance})은 완전히 해결된 요청 및 실행 컨텍스트가 일치하는 경우에만 저장된 적격 결과를 상속하여 불필요한 모델 및 도구 호출을 방지합니다. GPT-4o-mini를 작업자로 사용했을 때, Inherit-MAS는 WorkBench에서 55.4% 완료율을, HotpotQA FullWiki에서 49.7% 결합 F1을 달성하여 EvoAgent, EvoMAS, TacoMAS를 능가했습니다. Qwen3-32B 작업자를 사용했을 때도 두 벤치마크 모두에서 이러한 진화형 MAS 베이스라인들을 능가했습니다. 실행 상속을 비활성화한 동일한 컨트롤러를 재실행한 것과 비교했을 때, 실행 상속은 WorkBench에서 작업자 토큰 사용량을 29.1%, HotpotQA에서 34.6% 줄였으며, 전체 토큰 사용량은 각각 5.3% 및 18.1% 감소시켰습니다.
두 AI 에이전트의 의견이 불일치할 때, 누가 누구를 설득하는가? 멀티 에이전트 시스템에서 서로 다른 계열과 크기의 언어 모델을 결합하는 사례가 증가함에 따라, 이 질문에 대한 답은 상호작용 후 어떤 판단이 살아남는지를 결정할 수 있다. 본 연구에서는 반대 의견을 가진 동료 에이전트와의 한 차례 상호작용 후 발생하는 확률적 결정 변화로 설득(persuasion)을 측정하며, 세 가지 언어 이해 태스크에 걸쳐 7개의 공개 가중치(open-weight) 모델을 테스트한다. 실험 결과 설득 효과는 강력하게 나타났다. 모델 간 의견이 불일치할 때, 수신자 에이전트는 동료의 답변과 설명을 확인한 후 기존 판단을 포기하는 경우가 많았다. 그러나 놀랍게도 개별 모델의 확신도나 모델 규모 모두 설득 역학을 신뢰성 있게 예측하지 못했다. 단독으로 평가할 때 거의 완벽하게 일관된 결정을 내리는 모델이라도 설득에 가장 취약한 모델 중 하나가 될 수 있었으며, 소형 모델 역시 설득자로서 대형 모델 못지않은 성능을 보이고 대형 모델의 영향력에 동일하게 효과적으로 저항할 수 있었다. 나아가 결정 변화의 크기는 화자의 설득력보다 청자의 수용성에 더 크게 의존함을 보인다. 따라서 설득 양상은 각 모델의 조합마다 고유하게 나타나며, 이종성(heterogeneity)은 특정 조합에서는 설득을 증폭시키고 다른 조합에서는 억제하여 소형 모델 기반의 반대 에이전트가 훨씬 더 큰 모델의 판단을 뒤집을 수도 있게 한다. 이러한 발견은 상호작용하는 모델들의 동작이 개별 특성만으로는 추론될 수 없으며, 실제로 운용될 조합 내에서 평가되어야 함을 보여준다.
대규모 언어 모델(LLM) 기반 에이전트는 전략적 상호작용을 특징으로 하는 다중 에이전트 시스템(MAS)에서 점점 더 많이 활용되고 있습니다. 그러나 서로 다른 유형의 메시지가 전략적 게임의 결과에 영향을 미치는지, 그리고 어느 정도까지 영향을 미치는지에 대해서는 알려진 바가 거의 없습니다. 서로 다른 협력 균형을 갖는 4개의 게임을 플레이하는 4개의 대표적인 LLM 기반 AI 에이전트를 조사함으로써, 본 연구는 다양한 종류의 메시지(자연어, 수치적 신호 또는 무작위 시퀀스)가 에이전트에 부여된 성격에 따라 각 게임의 협력 수준을 유의미하게 변화시키는지 분석합니다. 연구 결과, 구조화된 메시지는 대부분의 게임과 LLM에서 최종 보수(payoff)를 변화시키지만 예측 가능한 패턴은 나타나지 않음을 확인했습니다. 이는 추가적인 기능과 무관하게 AI 에이전트가 안정적인 균형으로 수렴할 수 있다는 가정에 의문을 제기합니다. 또한, 에이전트가 생성한 수치적 메시지는 무작위성에서 벗어나며, 특히 에이전트가 명시적으로 소통하도록 지시받았을 때 이러한 경향이 가장 강하고 일관되게 나타남을 관찰했습니다. 그러나 이러한 수치적 메시지의 기호 분포는 주로 보수 구조와 연관되어 있고 반복을 통해 대체로 더 집중되는 경향을 보이지만 전반적으로 인간이 해석하기 어려워 추가적인 해석 가능성(interpretability) 문제를 야기합니다. 따라서 제한된 채널을 통한 AI 에이전트의 공모 및 협력(coordination)을 모니터링할 때는 모델 간에 일반화되지 않는 행동적 결정보다는 모델 전반에 일반화되는 메시지 수준의 지문(fingerprint)을 우선적으로 고려해야 합니다.
다중 에이전트(Multi-Agent, MA) 시스템은 계획, 도구 사용, 그리고 다양한 출처의 증거 종합을 요구하는 복잡한 작업을 해결하는 데 효과적입니다. 기존 시스템들은 통신 프로토콜로 주로 계층적 매니저-워커(Hierarchical Manager-Worker, HMW) 또는 라우터 기반 메시지 전달(Router-based Message Passing, RMP) 구조를 채택합니다. 그러나 이러한 설계는 에이전트의 자율성을 제한합니다. 즉, 워커 에이전트가 특정 "동료(peer)"에게 직접 자문을 구할 수 없으며, 메시지가 잘못 라우팅되면 오류가 전파될 수 있습니다. 컴퓨터 시스템의 버스 아키텍처에서 영감을 받아, 본 논문에서는 모든 에이전트가 공유 채널, 즉 버스(Bus)를 통해 다른 에이전트와 통신할 수 있도록 하는 통신 프레임워크인 BusMA를 제안합니다. BusMA는 에이전트 등록, 메시지 라우팅, 공유 메모리 관리 컴포넌트로 구성됩니다. 각자 도구를 갖춘 워커 에이전트는 자체 로컬 메모리를 보유하며, 특정 의도를 담은 공유 메시지를 게시함으로써 추론, 행동(도구 사용), 통신을 수행할 수 있습니다. 본 연구에서는 에이전트 간의 정밀한 통신을 지원하는 네 가지 의도인 토론(discussion), 이의 제기(challenge), 안내(guidance), 설명 요청(request for explanation)을 도입합니다. 체어(Chair) 에이전트는 공유 메모리를 모니터링하여 상호작용을 조율하고 워커 간의 수렴을 촉진합니다. BusMA의 효과를 평가하기 위해, 시각적 추론, 수학적 추론, 지식 검색에 걸친 13개 작업에서 두 개의 프론티어 대규모 언어 모델(LLM)을 사용하여 광범위한 실험을 수행합니다. 실험 결과는 BusMA가 최첨단 HMW 및 RMP 방식을 일관되게 능가함을 보여줍니다.
개인용 AI 에이전트(agent)는 환불과 청구서 처리부터 보증금 및 판매에 이르기까지 사람들을 대신해 협상하기 시작하고 있습니다. 이러한 위치에 있는 인간 대리인은 거래 성사 여부가 아니라 본인(principal)에 대해 지는 의무로 평가받습니다. 본 연구에서는 대리인법(agency law)에서 비롯된 다섯 가지 의무인 충실, 실제 권한에 대한 복종, 비밀유지, 솔직함, 근면을 에피소드 로그에 대한 결정론적 검사로 구체화한 통제 벤치마크(benchmark)인 SovereignNegotiation-Bench를 소개합니다. 이 중 앞의 세 가지 의무는 단일 핵심 지표로 통합됩니다. 이 벤치마크는 1,764개의 쌍을 이룬 시나리오(18개 소비자 및 개인 간 거래 도메인에 걸친 252개 상황, 각각 7가지 상대방 전략 적용)를 포함합니다. 상대방의 경제적 조건은 에이전트의 구조화된 행동과 메시지에서 감지된 공개 내용에 대한 고정 함수이므로 결과는 여러 에이전트 간에 비교 가능하며, 공개된 한계치는 측정 가능하고 인과적인 대가를 치르게 됩니다. 시뮬레이션된 본인은 동의를 부여하거나 보류하며 에피소드 중간에 위임 권한을 강화합니다. 규칙 기반 에이전트는 이 벤치마크가 관찰 가능한 상태로부터 해결 가능하며(충실한 성공률 92%), 단 한 문장의 정보 공개만으로도 협상된 잉여 전체가 사라진다(0.70에서 0.00으로 감소)는 것을 보여줍니다. 17개의 공개 가중치(open-weight) 모델(model) 전반에서 충실한 성공률은 6%에서 75%까지 다양하게 나타납니다. 모델들은 에피소드의 2~80%에서 본인의 유보 가치(reservation value)를 공개하고, 2~23%에서는 필수 승인 없이 합의하거나 보호된 문서를 공유하며, 주입 에피소드의 5~57%에서는 상대방 메시지에 주입된 지시를 따릅니다. 거래 체결률은 충실한 성공률과 유사하게 모델들의 순위를 매기지만, 개별 합의의 유효성을 보증하지는 못합니다. 전체 모델을 종합했을 때 합의의 48%가 최소 하나 이상의 의무를 위반합니다(모델별 18~96%). 같은 계열 내에서는 크기가 커질수록 충실한 성공률이 증가하는 경향이 있으나 크기에 따른 유의미한 추세는 없으며, 테스트한 모델에서는 프롬프트(prompt)나 코드 수준의 가드 모두 충실한 성공률을 실질적으로 높이지 못했습니다. 코드, 시나리오 및 모든 에피소드 로그는 공개될 예정입니다.