ANet Patu-1: 에이전트 네트워크에서 연결의 가치
ANet Patu-1: The Value of Connection in the Agent Network
한국어 초록
인터넷은 네트워크의 가치가 노드가 어떻게 연결되는지에 달려 있다는 것을 가르쳐 주었다. 브로드캐스트 스타는 $V\!\propto\!N$ (Sarnoff)로, 완전 연결 메시는 $N^2$ (Metcalfe)로, 그룹 형성 네트워크는 $2^{N}$ (Reed)로 스케일링한다. 우리는 AI 에이전트 네트워크에 대해 유사한 질문을 제기한다. 연결의 순 가치를 조율(coordination) 그룹 크기의 함수로 모델링하고, 이로부터 최적 협업 프로토콜이 갖춰야 할 성질을 도출하며, ANet Patu-1을 제안한다. 이는 네트워크가 스스로 연합(coalition)을 지속적으로 재구성하며, 세 가지 체제(regime) 모두의 상한 포락선(upper envelope)에 적응적으로 탑승하여 $O(1)$ 병렬 합의(consensus) 라운드로 동작하는 자기 조직화 합의 프로토콜이다. 의견 등급화(opinion-grading) 없이 가치를 측정하기 위해, 우리는 창발적(emergent) 프로토콜을 형식적으로 명세하고 분산 알고리즘이 분석되는 방식과 같이 그 복잡도를 도출하여 점수를 매긴다. 두 가지 결과가 뒤따른다. (i) 창발(Emergence) — 이질적인(heterogeneous) 가장 저렴한 모델의 군집은 처음에는 약하지만, 그 집합적 가치는 $N$에 따라 복리적으로 증가하여 동질적인(homogeneous) 훨씬 더 강한 모델의 군집을 추월한다. 이는 규모(scale)가 아니라 협업에 대한 스케일링(scaling) 법칙을 표시하는 교차(crossover)이다. (ii) 반사성(Reflexivity) — 이질적인 네트워크는 자신의 문제만 주어지고 설계 힌트가 없을 때 ANet Patu-1 자체로 수렴하여, 자신의 연결 가치를 지배하는 고차원 법칙을 재구성한다.
원문 초록
The Internet taught us that the value of a network depends on \emph{how} its nodes connect: broadcast stars scale as $V\!\propto\!N$ (Sarnoff), fully-connected meshes as $N^2$ (Metcalfe), and group-forming networks as $2^{N}$ (Reed). We ask the analogous question for networks of AI agents. We model the net value of connection as a function of coordination-group size, derive from it the properties an optimal collaboration protocol must have, and introduce ANet Patu-1 -- a self-organizing consensus protocol in which the network continuously re-forms its own coalitions, adaptively riding the upper envelope of all three regimes at $O(1)$ parallel consensus rounds. To measure value without opinion-grading, we score an emergent protocol by formally specifying it and deriving its complexity, the way distributed algorithms are analyzed. Two results follow. (i)~Emergence -- a crowd of the \emph{cheapest} model, when heterogeneous, starts weak but its collective value compounds with $N$ and \emph{overtakes} a crowd of a far \emph{stronger} model that is homogeneous: a crossover that marks a scaling law for collaboration rather than for scale. (ii)~Reflexivity -- a heterogeneous network, given only its own problem and no design hints, converges on ANet Patu-1 itself, reconstructing the high-dimensional law that governs its own connective value.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.15053v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
에이전틱 웹 기술 스택을 위한 기준선 평가
A Baseline Assessment for the Agentic Web Technology Stack
대규모 언어 모델(LLM) 기반 에이전트(agent)를 위한 프로토콜, 프레임워크 및 기술이 빠르게 제안되면서 최첨단 AI 솔루션을 구축하려는 이들에게 복잡한 상황이 야기되고 있습니다. 다양한 프로토콜, 프레임워크 및 라이브러리가 어떻게 함께 작동하여 에이전틱 웹(Agentic Web) 솔루션을 구성하는지에 대한 평가가 없다면, 개발자와 조직은 에이전틱 웹 생태계에 참여하기도 전에 다양한 과제(예: 역량 강화, 거버넌스, 인프라)에 직면하게 됩니다. 이러한 맥락에서 본 논문에서는 에이전틱 웹 평가를 수행하기 위한 시스템인 MASTIF(Multi-Agent System TestIng Framework)를 제안하고, 300개의 Mind2Web 벤치마크(benchmark) 태스크를 대상으로 3개의 LLM, 3개의 프로토콜, 4개의 에이전트 구현 프레임워크를 포함하는 에이전틱 웹 기술의 기준선(baseline) 평가를 제시합니다. 실험 결과에 따르면 태스크에 특화된 기술 스택을 선택할 경우 태스크 완료율, 효율성 점수 및 사회적 가치 안정성 점수가 향상될 수 있으며, 장황함(verbosity)과 태스크 완료 시간을 줄일 수 있는 것으로 나타났습니다. 본 논문에서 제시된 결과를 통해, 빠르게 발전하는 복잡한 환경 속에서 멀티 에이전트 시스템을 설계, 평가 및 개발하고자 하는 이들을 위한 지표 및 결과 측면의 기준선을 제시할 수 있을 것으로 기대합니다.
Agent4RE: 엔드투엔드 소프트웨어 요구공학 및 벤치마킹을 위한 자가 개선 다중 에이전트 프레임워크
Agent4RE: A Self-Refining Multi-agent Framework for End-to-End Software Requirements Engineering and Benchmarking
소프트웨어 요구공학(RE)을 위한 기존 대규모 언어 모델(LLM) 기반 접근 방식은 일반적으로 기본적인 프롬프팅 전략이나 초보적인 에이전트 협업에 의존하여 다중 에이전트 시스템의 잠재력을 온전히 활용하지 못하고 있습니다. 한편, 활용 가능한 데이터셋은 요구사항 추출, 분류, 완전성 탐지와 같은 개별적인 하위 작업에만 집중되어 있어, 요구사항 도출부터 생성까지 아우르는 엔드투엔드 RE 벤치마크가 부재한 상황입니다. 본 논문에서는 특화된 에이전트들을 조율하고 두 개의 반복적인 개선 루프를 통합한 자가 개선 다중 에이전트 RE 시스템인 Agent4RE를 제시합니다. 평가를 지원하기 위해 사람이 작성한 요구사항 명세서를 바탕으로 구축된 실제 데이터셋인 RE-E2E를 구성하여 RE 워크플로의 엔드투엔드 평가를 가능하게 했습니다. 이러한 토대 위에서, 자율적 자가 개선 또는 구조화된 인간 피드백을 통합한 두 가지 향상된 Agent4RE 버전을 추가로 제안하고, 다양한 시나리오에서 이들의 강점과 한계를 분석합니다. 8개의 LLM을 대상으로 한 평가에서 세 가지 Agent4RE 변형 모두 텍스트 기반 지표에서 도메인 컨텍스트 증강 프롬프팅 기준선(baseline)을 평균 8% 일관되게 능가하는 것으로 나타났습니다. 두 가지 향상된 변형은 LLM-as-a-judge 및 인간 평가에서 최고 평점을 기록하며 4점 척도 기준 두 개의 RE 기준선보다 약 0.8점 앞섰습니다. 이러한 일관된 성능을 통해 Agent4RE가 산업 환경을 위한 실용적인 엔드투엔드 RE 솔루션임을 입증합니다.
위임 위험 대역: 중급 성능의 서브 에이전트가 상속된 오래된 상태를 과도하게 신뢰하는 이유
The Delegation Danger Band: Why Mid-Capability Sub-Agents Over-Trust Inherited Stale State
에이전트(agent) 프레임워크는 서브 에이전트를 포크(fork)하여 작업을 위임하는 방식을 점점 더 많이 채택하고 있으며, 흔히 자식 에이전트가 부모의 전체 작업 컨텍스트를 상속하도록 기본 설정되어 있습니다. 본 논문에서는 상속된 상태의 영향이 모델 성능에 따라 어떻게 달라지는지 측정하며, 여기서 $C_m$은 깨끗한 상태로 새로 포크되었을 때의 정확도(clean fork-fresh accuracy)를 나타냅니다. 고정된 폐쇄형 세트 및 행동 평가 벤치마크(benchmark)에서 동일 계열 모델 래더(ladder)(Qwen3 0.6/1.7/4/8B)를 대상으로 세 가지 상속 정책을 비교합니다: 리셋(Reset, 새로 포크: 기본 증거만 포함), 선택적(Selective, 선별된 전달: 유용한 이전 결론 추가), 전체(Full, 암시적 포크: 유용한 결론 및 대체된 결론의 $d$개 사본 추가). 모든 작업은 기본 증거만으로 해결 가능하므로, 성능 손실(loss)은 오래된 상태(stale state)에 대한 의존 때문인 것으로 볼 수 있습니다. (1) 2가지 합성 기본 작업과 MuSiQue 및 HotpotQA 전반에서 대체된 상태에 대한 복종은 측정된 성능 $C_m$에 따라 급격히 감소합니다(기울기의 신뢰 구간 CI는 모든 계열에서 0을 제외함). (2) Qwen3 합성 래더에서 순 상속 피해(net inheritance harm)는 비단조적 패턴을 따릅니다. 중급 성능 모델(Qwen3-1.7B)은 순 피해의 통계적으로 유의미한 국소 최솟값을 보이며, 새로 포크된 기준선(baseline)($Δ(32)=-0.19$ [-0.25, -0.12]) 및 양쪽 인접 모델보다 낮은 성능을 기록하는 반면, 가장 약한 모델은 중립에 가깝게 유지되고 가장 강한 모델(model)들은 견고함을 유지합니다. 저자들은 이처럼 유해한 성능 범위를 '위험 대역(danger band)'이라고 부릅니다. 모델 내 계산 난이도 스윕을 통해 동일한 $C_m$에서도 이 효과가 모델 클래스에 따라 달라짐을 확인했으며, 실제 부모-자식 간 포크 실험에서도 중간 모델의 성능 저하가 재현됩니다. (3) 선별된 선택적 전달은 3개 데이터셋(dataset) 모두에서 전체 상속 대비 평균 정확도를 향상시키며 위험 대역 내 모델에서 그 효과가 가장 컸던 반면, 고정 임계값 기반의 성능 라우터는 다른 데이터셋에서 실패했습니다. 전이 가능한 라우터는 재사용 이점과 오래된 컨텍스트 페널티 사이의 균형을 예측할 수 있어야 합니다. 해당 벤치마크는 동결되었으며 버전 해시가 적용되었습니다.
최종 정확도를 넘어서: LLM 멀티 에이전트 시스템 내 소통 감사
Beyond Final Accuracy: Auditing Communication in LLM Multi-Agent Systems
멀티 에이전트 소통은 에이전트들이 서로의 정보를 활용하여 이득을 얻도록 돕는 것을 목표로 합니다. 그러나 시스템 성능의 향상은 근본적인 모호함을 남깁니다. 즉, 이것이 효과적인 소통을 반영하는 것인지, 유리한 에이전트 구조 덕분인지, 아니면 단순히 추가적인 추론(reasoning) 때문인지 불분명합니다. 소통 방식은 보통 해당 방식이 설계된 시스템 내에서 평가되기 때문에 이러한 요인들을 분리해 파악하기 어렵습니다. 나아가 최종 정확도는 수정된 오류와 훼손된 정답을 단일 결과로 합쳐버려, 소통이 의사결정을 어떻게 변화시키는지 가려버립니다. 본 논문에서는 독립적인 추론 후의 답변 수정을 통해 소통을 평가하는 통제된 프레임워크인 ICR(Independent--Communicate--Revise)을 소개합니다. ICR은 초기 추론 궤적을 고정하고, 두 에이전트의 초기 정답 여부를 조건으로 하여 오류 수정(correction) 및 정답 유지(preservation)를 측정하며, 메시지 없는 수정 대조군을 사용하여 추가 추론을 넘어서는 이득을 정량화합니다. 네 가지 추론 벤치마크에 걸쳐 텍스트 및 잠재(latent) 소통을 감사한 결과, 유사한 종합 정확도 뒤에 실질적으로 다른 수정 행동이 숨겨져 있을 수 있음을 밝혀냈습니다. 정답만 전송하는 것과 비교했을 때, 전체 추론을 전달하면 네 가지 벤치마크 모두에서 오류 수정은 증가하지만 정답 유지는 감소하므로, 더 풍부한 메시지는 유익한 영향과 유해한 영향을 모두 증폭시킵니다. 또한 MedQA 및 GPQA-D에서의 수신자 정책 비교는 구조화된 검증 정책이 모든 채널을 더 높은 정답 유지와 더 낮은 오류 수정 방향으로 유도하는 반면, 선택성(selectivity)에 미치는 영향은 채널과 태스크에 따라 상이함을 보여줍니다. 이러한 발견은 소통 품질을 채널 고유의 특성으로 취급하는 기존 관점에 의문을 제기합니다. 따라서 ICR은 평가의 초점을 선택적 수정에 다시 맞추어, 메시지 내용과 수신자 정책이 어떻게 상호작용하여 이득과 피해를 낳는지 조사할 수 있는 통합 프레임워크를 제공합니다.
동적 추론을 위한 수정 인지 독립 에이전트 그래프
Revision-Aware Independent Agent Graphs for Dynamic Reasoning
기존의 추론 프로토콜은 고정되고 사전 선택된 작업을 제시하므로 에이전트가 관련 업데이트를 전파하는지, 영향을 받지 않은 작업을 보존하는지, 또는 과거의 작업 바인딩을 재구성하는지 테스트할 수 없습니다. 따라서 우리는 이벤트 스트림이 작업 바인딩을 수정하고 시스템이 문제를 해결하기 전에 각 쿼리 시점에 유효한 문서 버전을 선택해야 하는 동적 작업 라우팅(dynamic task routing)을 연구합니다. 이 문제를 연구하기 위해 MMLU, MMLU-Pro, MedMCQA, MATH, GPQA, HumanEval 등 널리 사용되는 6개 벤치마크를 373,428개의 시간별 분류 쿼리로 구성된 31,119개의 동적 에피소드로 재구성합니다. 이러한 설정은 모든 이벤트 후에 재계산하는 것은 작업을 낭비하는 반면, 무분별한 재사용은 오래된 결론을 반환한다는 핵심적인 트레이드오프를 드러냅니다. 우리는 결정론적 시간 해석(temporal resolution)과 작업 추론을 분리하는 유계 다중 에이전트(multi-agent) 정책인 수정 인지 독립 에이전트 그래프(Revision-Aware Independent Agent Graph, RIAG)를 소개합니다. RIAG는 불변 문서 식별자(immutable document identity)를 기반으로 솔루션을 캐싱하고, 각각의 새로운 작업을 노출되지 않은 두 번의 시도로 시작하며, 문서 버전당 최대 4회의 호출을 사용하여 감사 및 수정을 조건부로 호출합니다. 이 컬렉션에서 동종(homogeneous) RIAG는 쿼리당 0.62회 호출로 54.24%의 결합 라우팅 및 답변 정확도를 달성하여 가장 강력한 비교 방법의 쿼리당 18.00회 호출 시 32.22%와 대비되며, 이종(heterogeneous) RIAG는 쿼리당 0.63회 호출로 49.78%에 도달합니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.