AI agents share code, documents, tools, and analyses. No participant sees the whole state, so every step can look right while the combined result is wrong. We call this the global coherence problem. It is a problem of state, not only of intelligence: a stronger model decides better locally, but cannot see what is missing from its context. The Observation-Aliasing Impossibility Theorem gives the exact condition. An agent can always act validly exactly when every world consistent with its context allows a common action. When look-alike worlds need different actions, no reasoning, role, message, or sample can guarantee the right one; with k such worlds whose valid actions are disjoint, the best randomized policy succeeds with probability 1/k. Finding the smallest sufficient context is NP-hard, but refinement finds one and keeps it current as rules change. A second failure survives full information: valid pieces can fail to fit into one world. The same theorem sets the conditions for coherence; sheaves and groupoids are one way to meet them. Models propose, and the harness decides what is valid. Ten studies test it. On TeamBench, teams overspend a shared budget in 5/5 runs; showing them the live count still leaves 4/5, and a harness that owns the budget leaves 0/5. Identity collisions that no pairwise check can see appear in 23 of 45 public alignment networks; split-view agents create them in 9 of 40 merges, and a network check removes all nine. A frontier LLM solves 40/40 revision tasks when it sees the deciding event; with the event hidden, no arm that reasons longer, votes, or splits into roles significantly beats chance, and a companion study replicates this on models from a second provider. In tau2-bench Telecom, after a silent revert, the harness scores 1.00 against 0.07 for call-time policy checks. Refinement keeps a sufficient context at 28% of the cost of sharing every field.
조정자(coordinator)가 이종 파운데이션 모델(foundation model)들의 답변을 비교할 때, 모델이 자체 보고한 신뢰도(confidence)는 응답자 및 변화하는 워크로드에 따라 서로 다른 의미를 가질 수 있습니다. 본 논문에서는 모델을 재학습하거나 별도의 홀드아웃 캘리브레이션 셋(held-out calibration set)을 요구하지 않고, 관측된 답변 결과로부터 모델별 신뢰도 보정을 학습하는 런타임 캘리브레이션 방법인 MARGIN(Multi-Agent Runtime Grading via Incremental Normalisation)을 제시합니다. MARGIN은 신뢰도 구간(confidence band) 내에서 최근 정확도와 제시된 신뢰도를 추적하고, 둘의 비율을 사용하여 보고된 신뢰도를 보정하며, 희소 구간(sparse-band) 보정을 모델 수준의 추정치로 결합합니다. 보정된 점수는 집합적 결정에서 후보 답변들의 가중치를 부여합니다. 평가는 18개 모델 풀과 분포 변화(distribution-shift) 실험을 위한 9개 모델 하위 집합을 사용하여 코드 생성, 질의응답, 수학 영역을 다룹니다. BigCodeBench에서 모델 평균 신뢰도는 정확도와 음의 상관관계를 보였으며, 정답/오답 응답 쌍 중에서 더 자신 있는 응답자를 선택하는 방식은 무작위 선택(chance)보다 낮은 성능을 보였습니다. 동일한 피드백을 받고 각 전이(transition) 전반에 걸쳐 학습된 상태를 유지하는 5개의 온라인 캘리브레이션 베이스라인과 비교했을 때, MARGIN은 2개의 코드 생성 전이에서 5개 모두보다 더 낮은 분포 변화 후 기대 캘리브레이션 오차(ECE)를 달성했고, 질의응답 전이에서는 4개보다 낮은 오차를 달성했으며 나머지 질의응답 비교는 결정적이지 않았습니다. 별도의 코드 생성 조정 실험에서 캘리브레이션은 정답 응답의 순위를 개선하고, 보정되지 않은 신뢰도 가중치 부여 대비 3개 벤치마크 중 2개에서 답변 선택 정확도를 각각 4.3%p 및 14.0%p 향상시켰습니다. 이러한 결과는 참여 응답자에 대한 정답 여부 피드백이 제공될 때, 변화하는 워크로드 하에서 조정을 위한 모델별 런타임 캘리브레이션의 효용성을 뒷받침합니다.
AI 팀에서 권한(authority)의 존재는 결과물을 개선하는가? 조직 이론에서는 권한이 의사결정을 촉진하여 품질을 향상시킨다고 주장한다. 반면, 일부 초기 AI 연구는 권한 하에서의 수정(revision)이 대규모 언어 모델(LLM)의 결과물을 더 악화시킨다고 시사한다. 다중 에이전트(multi-agent) LLM 프레임워크는 기본적으로 관리자(Manager) 에이전트에게 실무 에이전트(worker)의 결과물을 수정하도록 되돌려 보내는 권한을 부여한다. 기존의 비교 연구들은 검증 가능한 과제를 사용하여 권한의 효과를 검증했다. 본 연구에서는 43쌍의 노트북 제품 표본과 86회의 실행을 통해 개방형 과제인 비즈니스 인텔리전스 보고서 작성에 대한 실험을 진행한다. 각 보고서는 위계적 팀과 수평적 팀에 의해 각각 한 번씩 작성된다. 연구 결과, 수평적 팀이 더 높은 품질의 보고서를 생성하여 유용성(Utility, d = 0.42, p = 0.009)과 글의 명확성(Writing Clarity, d = 0.34, p = 0.030)에서 더 높은 점수를 기록했다. 보고서의 길이는 동일했으나, 위계적 팀의 보고서는 "may", "could"와 같은 완곡어구(hedging words)를 53% 더 많이 사용했으며, 수정이 한 번 이루어질 때마다 1~5점 척도에서 글의 명확성이 0.14점씩 하락하는 것으로 나타났다. 어떠한 수정도 거치기 전에는 위계적 팀의 초안과 수평적 팀의 보고서 사이에 차이가 없었다. 즉, 품질 격차의 원인은 수정 과정에 있음을 확인할 수 있다. 권한은 관리자가 작업물을 검증할 수 있을 때 품질을 개선하지만, 피드백만 제공할 수 있는 경우에는 품질에 부정적인 영향을 미친다.
다중 에이전트(Multi-agent) AI 과학자는 다양한 작업에 걸쳐 향상된 성능을 보여주었습니다. 그러나 일반적인 접근 방식은 주로 고정된 워크플로에 의존하는 설계 시점(design-time)의 에이전트 오케스트레이션입니다. 이와 대조적으로 인간 과학자는 런타임(runtime)에 분업을 조율하고 조정합니다. 따라서 우리는 다음과 같은 질문을 던집니다. AI 과학자 역시 런타임에 협력할 수 있을까? 이를 위해 우리는 실행 중에 기존 AI 과학자 호스트에서 에이전트를 선택하고, 범위가 지정된 작업 계약을 할당하며, 산출물 기반 검증(artifact-grounded verification)을 제공하는 런타임 에이전트 협력(RAC)을 도입합니다. 검증은 전환을 차단하거나 산출물을 폐기하지 않고 후속 에이전트에게 정보를 전달합니다. 우리는 호스트별로 조정된 예산 내에서 호스트 모델, 도구 및 권한을 유지하며 ResearchClawBench에서 Agent Laboratory, EvoScientist, ARK를 대상으로 단일 시드 탐색적 평가를 수행합니다. 4가지 누적 조건은 기본 실행, 런타임 통신, 런타임 선택, 그리고 계약 및 검증의 결합 추가를 분리합니다. 런타임 선택은 각 호스트에 대해 가장 높은 관찰 평균 점수를 산출합니다. 계약 및 검증을 추가하면 이러한 평균이 감소하며, 기본 실행 대비 호스트에 따라 결과가 달라집니다. 이러한 결과는 런타임 협력의 동기를 부여하는 동시에 제한된 예산 하에서 추가적인 협력 메커니즘의 한계를 드러냅니다. 코드는 https://github.com/systemind-team/Runtime-AI-Scientist 에서 확인할 수 있습니다.
점점 더 많은 사람들이 AI 에이전트(agent)에게 작업을 위임하고 있으며, 이러한 에이전트들은 코드베이스, 캘린더, 예산과 같은 공유 자원을 두고 다른 사람의 에이전트와 마주치는 일이 잦아지고 있습니다. 각 에이전트가 서로 다른 목표를 가진 서로 다른 사용자를 대변해 행동할 때 조율(coordination)은 종종 실패하며, 결과적으로 단일 에이전트가 모두를 대변해 행동했을 때보다 그룹 전체의 성과가 더 나빠집니다. 본 연구에서는 5개의 프론티어 모델과 4개 환경(environment)의 77개 시나리오에 걸쳐 이러한 다중 사용자-다중 에이전트 설정을 조사합니다. 4개 환경은 에이전트들이 연산 예산을 공유하는 API 키 환경, 캘린더를 공유하는 클리닉, 단체 주문이나 예약을 공유하는 개인 비서 환경, 그리고 릴리스 마감 시점을 공유하는 머지 큐(merge queue) 환경으로 구성됩니다. 각 시나리오에서 모든 사용자를 지원하는 단일 에이전트(조율자)와 각 에이전트가 한 명의 사용자를 지원하는 팀을 에이전트 간 통신 채널이 있는 경우와 없는 경우로 나누어 비교합니다. 모든 환경에서 팀은 조율자보다 더 나쁜 그룹 결과를 보였습니다. 통신 채널이 없는 경우 두 개 환경에서 완전히 실패했으며, 채널이 있는 경우에도 조율 오버헤드로 인해 상당한 격차가 발생했습니다. 예를 들어 개인 비서 환경에서 조율자는 팀에 비해 목표 사용자 요청을 약 2배 더 자주 충족했습니다. 저자들은 팀 규모가 커짐에 따른 지연(stalling), 서로의 행동 덮어쓰기(overriding), 허위 주장 날조(fabricating claims) 등 이러한 저조한 그룹 수준 성능과 관련된 뚜렷한 행동들을 식별했습니다. 또한 팀 리더 도입, 명시적인 절차적 지침 제공, 커밋 전 동료의 메시지를 읽도록 강제하는 플랫폼 검사 등 효과적이지만 환경에 따라 특화된 완화책들을 발견했습니다. 저자들은 다중 사용자-다중 에이전트 조율을 평가하기 위한 74개 시나리오로 구성된 MAMUBench로 API 키, 클리닉, 개인 비서 환경을 공개할 예정입니다.
현실 세계에서 여행 계획은 압도적으로 그룹 활동이지만, 기존 LLM 여행 계획 벤치마크는 이를 단일 사용자 문제로 축소해 해당 분야는 포화에 가깝다. 이러한 단일 사용자 가정은 에이전트에게 그룹 계획을 어렵게 만드는 요소—여러 사용자에 걸친 사적 선호 발견, 갈등의 표면화, 효용(utility)과 공정성(fairness) 사이의 균형—을 회피한다. 과제를 다중 사용자 현실로 되돌리기 위해, 우리는 다중 사용자·다중 턴(multi-user, multi-turn) 여행 계획을 위한 최초의 벤치마크인 GroupTravelBench를 제안한다. 실제 사용자 프로필, POI 데이터, 티켓 가격으로 구축되었으며, 세 가지 난이도에 걸쳐 650개의 태스크로 구성되고, 각 태스크는 재현 가능한 오프라인 평가를 위해 캐시된 도구 데이터를 갖춘 동기식 그룹 채팅 샌드박스에서 실행된다. 단일 사용자 벤치마크가 이미 검증하는 다단계 추론과 도구 사용을 넘어, GroupTravelBench는 세 가지 그룹 특화 역량을 탐색한다: (i) 다중 턴 대화를 통한 사적 선호 도출(elicitation); (ii) 타협 또는 하위 그룹화(subgrouping)를 통한 사용자 간 갈등 조율(coordination); (iii) 그룹 효용과 공정성의 균형을 맞추는 계획(planning). 이에 더해 규칙 기반 결과(outcome) 지표와 LLM 판사(judge) 프로세스 지표를 결합한 보완적 평가 프레임워크를 함께 제시한다. 다양한 프론티어 모델에 걸쳐, 가장 강력한 에이전트조차 네 가지 규칙 기반 결과 지표 모두에서 미달하며, 계획 유효성(plan validity)은 12% 미만으로, 그룹 수준 결과 품질이 LLM 여행 계획 에이전트의 핵심 미해결 과제임을 시사한다.
그래픽 사용자 인터페이스(GUI) 에이전트는 대규모 멀티모달 모델(LMM)로 구동되는 시스템이다. 이들은 화면 상태를 인지하고, 데스크톱과 모바일 기기에서 클릭, 입력, 스크롤과 같은 GUI 동작을 통해 사용자 지시를 실행한다. 그러나 현재 에이전트는 장기 작업에 잘 확장되지 않는다. 각 동작마다 비용이 큰 LMM 추론이 발생하고, 컨텍스트가 커질수록 성능이 저하된다. 인간은 이러한 작업 부하를 협업자들 사이에 분담하여 하위 작업을 병렬로 완료한다. 그러나 GUI 에이전트 간 병렬 조율은 거의 주목받지 못했다. 이 격차를 메우기 위해, 우리는 ParaGUIBench를 제안한다. 우리가 아는 한, 이는 별도의 데스크톱 인스턴스에서 여러 GUI 에이전트의 병렬 실행 및 조율을 위해 설계된 최초의 벤치마크이다. 이는 세 가지 구성 요소로 이루어진다: 공유 파일 시스템을 갖춘 다중 디바이스 Docker 인프라; 여섯 가지 작업 카테고리에 걸친 233개 작업으로 구성된 데이터셋; 단계 감소율 및 토큰 비용을 포함한 효율성 지표를 갖춘 평가 시스템. 또한 GUI 작업을 분해하고 별도의 데스크톱 인스턴스에서 동시에 실행되는 워커(worker)에게 하위 작업을 배분하는 planner-worker 에이전트인 ParaGUI를 제안한다. ParaGUIBench에서 ParaGUI는 46.4%의 성공률을 달성하며, 가장 강력한 순차 기준선(Claude Sonnet 4.6)보다 12.9%p 높은 동시에, 대략 절반의 단계와 절반 미만의 토큰을 사용한다. 이 결과는 분해 가능한 장기 GUI 작업에서 병렬 실행이 성공률과 효율성 모두를 개선할 수 있음을 보여주며, 추가 연구가 가치 있는 방향을 시사한다.
이기종 대규모 언어 모델(LLM)로 구동되는 체화 에이전트 팀이 스마트 공장, 물류 창고, 서비스 로봇 등 물리적 인공지능 분야에 광범위하게 배포되고 있다. 이러한 에이전트 팀 간의 협업을 가능하게 하기 위해서는 제한된 네트워크 자원 하에서 안정적으로 동작하는 효율적인 조율 메커니즘이 필요하다. 그러나 다중 라운드 자연어 기반 대화에 의존하는 기존의 이기종 LLM 에이전트 조율 프레임워크는 세 가지 상호 연결된 과제를 야기한다. 첫째, 에이전트 간 대화는 팀 규모에 따라 빠르게 증가하는 통신 오버헤드를 발생시킨다. 둘째, 조율 품질이 에이전트 팀 LLM들의 이기종 능력에 의해 제약된다. 셋째, 에이전트들은 반복적인 협상으로 인해 행동 지연을 겪을 수 있다. 이러한 과제들을 해결하기 위해, 우리는 경량 디지털 트윈(DT)을 기반으로 구축된 네트워크 조율 프레임워크인 LDT-Coord를 제안한다. 구체적으로, 각 에이전트는 독립적으로 의도된 행동을 선택하고, 행동 결정과 공유 자원에 대한 구조화된 시간적 제약 조건을 DT 서버에 보고함으로써 조율 성능을 자연어 추론 능력으로부터 분리한다. 이후 DT는 학습 불필요한 규칙 기반 오케스트레이터 알고리즘을 실행하여 에이전트 간 충돌을 해소하고 충돌 방지를 위한 조율 지시를 반환한다. 통신 오버헤드를 추가로 줄이기 위해, 에이전트 보고 제어를 제약된 부분 관측 마르코프 결정 과정(C-POMDP)으로 공식화하고 PPO-Lagrangian 알고리즘으로 풀이한다. 시뮬레이션 결과, LDT-Coord는 통신 오버헤드를 70배 이상 절감하고 LLM 이기종성 하에서도 강건성을 유지하면서 기존 조율 방법에 비견되는 태스크 성공률을 달성함을 보인다.
FPGA 기반 하드웨어 강제 시맨틱 조정 아키텍처를 제안하며, TB-CSPN(Topic-Based Communication Space Petri Net) 프레임워크의 조정 메커니즘을 FPGA 프리미티브에 매핑해 시간 동기화, 시맨틱 게이팅, 권한 제약을 소프트웨어가 아닌 하드웨어 수준에서 결정론적으로 강제한다. 안전 필수 실시간 자율 시스템에서 소프트웨어 기반 조정의 비결정성 문제를 해결하기 위해, 시맨틱 추론은 소프트웨어에 남기고 상호작용 규칙만 하드웨어에서 집행하는 3계층 아키텍처를 설계했다.
How do two agents invent a shared language from scratch? In a Lewis signaling game, a sender and receiver must coordinate on a code using only their interaction history. We study five memory architectures across varying channel configurations with LLM agents and find that memory architecture matters more than channel capacity. Agents with a persistent private notebook benefit from surplus channel capacity and avoid the high-capacity collapse seen in stateless agents, achieving the most reliable coordination ($0.867 \pm 0.023$ at capacity = 25). Stateless agents peak at moderate capacity and then degrade as the vocabulary grows beyond what a rolling context window can track The notebook externalizes learned conventions, freeing agents from having to re-derive codes each round. An information bottleneck-inspired argument predicts an optimal capacity equal to the number of objects. Instead, the bottleneck (capacity = 8) proves to be a fragility point, and surplus capacity is generally better. We show that channel capacity alone cannot predict coordination; memory architecture determines whether agents turn interaction history into stable conventions, and both dimensions are needed to understand how signals become language.
Decentralized Multi-Agent Reinforcement Learning (MARL) methods allow for learning scalable multi-agent policies, but suffer from partial observability and induced non-stationarity. These challenges can be addressed by introducing mechanisms that facilitate coordination and high-level planning. Specifically, coordination and temporal abstraction can be achieved through communication (e.g., message passing) and Hierarchical Reinforcement Learning (HRL) approaches to decision-making. However, optimization issues limit the applicability of hierarchical policies to multi-agent systems. As such, the combination of these approaches has not been fully explored. To fill this void, we propose a novel and effective methodology for learning multi-agent hierarchies of message-passing policies. We adopt the feudal HRL framework and rely on a hierarchical graph structure for planning and coordination among agents. Agents at lower levels in the hierarchy receive goals from the upper levels and exchange messages with neighboring agents at the same level. To learn hierarchical multi-agent policies, we design a novel reward-assignment method based on training the lower-level policies to maximize the advantage function associated with the upper levels. Results on relevant benchmarks show that our method performs favorably compared to the state of the art.
Role-semantic assignments provide priors over how heterogeneous agents may coordinate, but cooperative MARL systems instead settle on conventions through decentralized, non-stationary learning, with no guarantee that the resulting structure matches those priors. We study this translation gap between theory-informed role expectations and learned coordination structure through a diagnostic combining a role-routing matrix, formation sensitivity ($Δ_{\max}$), and gradient/occlusion attribution across three-role MiniGrid and SMACv2 (Terran) environments. We show that label-conditioned attention produces substantially more concentrated and role-specific routing than flat MLP baselines, remains stable under 3v3--9v9 scaling, transfers zero-shot across team sizes, and is invariant to ally-slot padding. A 5-seed re-evaluation shows partial alignment between learned conventions and designer-specified priors while revealing where small-n noise can manufacture apparent strategic divergence. We present these results as an empirical framework for measuring coordination structure in cooperative MARL rather than as a new equilibrium concept or causal explanation.
Every existing vector database and agent memory framework treats memory as passive storage that agents query explicitly. No system propagates knowledge between agents through the memory layer itself. We introduce HyphaeDB, an agent-native memory infrastructure that reinterprets the Hierarchical Navigable Small World (HNSW) graph topology the data structure at the core of every modern vector database not as a search optimization, but as a communication fabric for multi-agent AI systems. In HyphaeDB, agents are nodes in the vector space with persistent positions, knowledge propagates via a gossip protocol through the graph's neighbor structure with energy-based attenuation, and emergent behaviors contradiction detection, pattern crystallization, and consensus formation arise from the combination of topology, propagation dynamics, and local interaction rules. We present the architecture built on three primitives (knowledge nodes, topology edges, and memory diffs), a multi-layer abstraction hierarchy with promotion via emergent consensus, and theoretical analysis grounding the system in small-world network theory, epidemic broadcast protocols, and swarm intelligence. We provide a reference implementation on PostgreSQL with pgvector and describe a concrete deployment in Swarm-Driven Development, a multi-agent software engineering methodology. HyphaeDB represents, to our knowledge, the first system to combine navigable small world topology with gossip-based knowledge propagation for multi-agent coordination.
자율 코딩 에이전트는 현재 수백만 개의 풀 리퀘스트(PR)를 생성하지만, 대규모 연구에 따르면 이들의 PR은 더 빨리 생성되지만 수락율은 낮습니다. 이는 풀 리퀘스트 수준의 텔레메트리로는 설명할 수 없는 조정 및 신뢰의 격차입니다. 우리는 누락된 신호가 PR 이전, 즉 동시 실행 에이전트가 공유 작업을 선점하고, 분할하며, 충돌하는 방식에 존재한다고 주장합니다. 우리는 중앙 서버가 필요 없고 기록을 git 자체 내부에 저장하는 오픈 소스 조정 기반인 grite를 통해 이 과정을 연구합니다. 따라서 추가 전용, 서명된 이벤트 로그가 조정 과정을 직접 포착합니다. 우리는 (i) 이 공유 기반이 제한된 오버헤드로 중복 및 충돌 작업을 줄인다는 것을 보여줍니다. 팀원의 작업을 단순히 재수행하는 작업의 비중은 78%에서 0%로 감소하는 반면, 유용한 처리량은 3배 이상 증가합니다. (ii) 파일 기반 추적기가 동시 쓰기를 손실하는 반면, 모든 에이전트의 로그 사본은 쓰기가 조용히 누락되지 않고 동일한 상태로 수렴합니다. 그리고 (iii) 로그는 출처(provenance)와 함께 구체적인 실패 모드(충돌하는 편집, 락 기아, 중복 재발견, 닫기 경쟁)를 자동으로 복원할 수 있는 마이닝 가능한 아티팩트로, 이 중 다수는 풀 리퀘스트 기록에서는 보이지 않습니다. 우리는 데이터셋, 하네스(harness), 마이닝 툴킷을 공개합니다.