PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.15054v2cs.AI

BusMA: 다중 에이전트 시스템을 위한 버스 통신 기저 구조

BusMA: A Bus Communication Substrate for Multi-Agent Systems

다중 에이전트(Multi-Agent, MA) 시스템은 계획, 도구 사용, 그리고 다양한 출처의 증거 종합을 요구하는 복잡한 작업을 해결하는 데 효과적입니다. 기존 시스템들은 통신 프로토콜로 주로 계층적 매니저-워커(Hierarchical Manager-Worker, HMW) 또는 라우터 기반 메시지 전달(Router-based Message Passing, RMP) 구조를 채택합니다. 그러나 이러한 설계는 에이전트의 자율성을 제한합니다. 즉, 워커 에이전트가 특정 "동료(peer)"에게 직접 자문을 구할 수 없으며, 메시지가 잘못 라우팅되면 오류가 전파될 수 있습니다. 컴퓨터 시스템의 버스 아키텍처에서 영감을 받아, 본 논문에서는 모든 에이전트가 공유 채널, 즉 버스(Bus)를 통해 다른 에이전트와 통신할 수 있도록 하는 통신 프레임워크인 BusMA를 제안합니다. BusMA는 에이전트 등록, 메시지 라우팅, 공유 메모리 관리 컴포넌트로 구성됩니다. 각자 도구를 갖춘 워커 에이전트는 자체 로컬 메모리를 보유하며, 특정 의도를 담은 공유 메시지를 게시함으로써 추론, 행동(도구 사용), 통신을 수행할 수 있습니다. 본 연구에서는 에이전트 간의 정밀한 통신을 지원하는 네 가지 의도인 토론(discussion), 이의 제기(challenge), 안내(guidance), 설명 요청(request for explanation)을 도입합니다. 체어(Chair) 에이전트는 공유 메모리를 모니터링하여 상호작용을 조율하고 워커 간의 수렴을 촉진합니다. BusMA의 효과를 평가하기 위해, 시각적 추론, 수학적 추론, 지식 검색에 걸친 13개 작업에서 두 개의 프론티어 대규모 언어 모델(LLM)을 사용하여 광범위한 실험을 수행합니다. 실험 결과는 BusMA가 최첨단 HMW 및 RMP 방식을 일관되게 능가함을 보여줍니다.

arXiv:2607.14103v1cs.CL

언어 모델 에이전트 간 잠재 통신: 채널, 정렬, 그리고 텍스트의 한계

Latent Communication Between Language Model Agents: Channels, Alignment, and the Limits of Text

다중 에이전트 시스템(MAS)은 다양한 맥락과 많은 분야에서 활용된다. 이러한 MAS는 에이전트 간 통신에 의존하며, 이는 보통 평문 메시지 전달로 구현된다. 우리는 복잡한 개념을 전달해야 할 때, 대규모 언어 모델(LLM)이 텍스트로 표현 가능한 범위를 넘어서는 세계 모델(world model)을 이용할 수 있을 가능성이 있다고 가설한다. 본 연구의 목표는 구조화된 실험을 통해 이 가설의 증명에 근접하는 것이다. 본 논문에서는 텍스트를 통해 통신하는 LLM 에이전트가 정보를 잃는다는 점을 보이며, 이를 Sparse Autoencoder(SAE) 특징 분석으로 정량화한다. 우리는 세 가지 통신 채널을 구성하고 각 채널에서 개념을 구별하는 정보를 측정한다. 먼저 SAE-sparse 채널이 dense-latent 채널 대비 28배 압축에서 99.4%의 probe 정확도를 유지하는 반면, text 채널은 80.4%임을 보인다. 이어서 sparse 잠재 공간 정렬(sparse latent space alignment)을 이용해 아키텍처 간 통신에서도 동일한 분석을 수행한다. Procrustes 정렬(Procrustes alignment)의 경우 Llama와 Mistral 간 top-1 검색에서 92%를 확인한다. 텍스트 왕복(text round-trip)을 통해 특징 생존 분석(feature survival analysis)을 수행한 결과, 텍스트 직렬화가 SAE 특징의 88%를 파괴하고 이를 다른 특징 집합으로 대체함을 발견한다. 우리는 이 손실을 감쇠(attenuation)가 아닌 동일성 대체(identity replacement)에 기인한다고 귀인한다. 분석을 통해 선형 Procrustes 정렬에 3–10%p의 성능 페널티가 있음을 귀인할 수 있었으며, 비선형 정렬 방법으로 이는 개선된다. 과제 수준 평가(task-level evaluation)에서는 잠재 채널이 교차 언어 개념 과제에서 text 채널과 동등하지만 이를 초과하지는 않는다. 잠재 특징으로 text를 증강해도 이점이 없으며, 이는 초기 가설에 대한 부정적 결론으로 이어진다: 손실된 특징은 대부분 또는 전적으로 과제 관련 의미가 아니라 표면 형태(surface form)를 인코딩한다. text 채널 대비 잠재 통신의 실질적 이점을 특정하려면, 복잡한 개념을 유도하는 더 깊은 과제와 이에 대응하는 분석 프레임워크가 필요하다.

arXiv:2510.13903v2cs.MA

다중 에이전트 추론에서 통신의 이점과 한계

Benefits and Limitations of Communication in Multi-Agent Reasoning

사고의 연쇄(Chain-of-Thought) 프롬프팅은 대규모 언어 모델(LLM)에서 단계별 추론을 대중화했지만, 문제 복잡도와 컨텍스트 길이가 증가함에 따라 모델 성능은 여전히 저하된다. 긴 컨텍스트를 가진 어려운 작업을 더 짧고 관리 가능한 작업으로 분해함으로써, 최근의 다중 에이전트 패러다임은 이 문제에 대한 유망한 단기적 해결책을 제공한다. 그러나 이러한 시스템의 근본적 역량은 잘 이해되지 않았다. 본 연구에서는 다중 에이전트 시스템의 표현력을 분석하기 위한 이론적 프레임워크를 제안한다. 우리는 이 프레임워크를 세 가지 알고리즘군—상태 추적(state tracking), 회상(recall), $k$-hop 추론—에 적용한다. (i) 작업을 정확히 풀기 위해 필요한 에이전트 수, (ii) 에이전트 간 통신의 양과 구조, (iii) 문제 크기와 컨텍스트 규모에 따른 달성 가능한 가속화에 대한 상한을 도출한다. 우리의 결과는 통신이 증명 가능하게 유익한 영역을 식별하고, 에이전트 수와 대역폭 간의 트레이드오프를 구분하며, 어느 한 자원이 제약될 때 내재적 한계를 드러낸다. 우리는 통제된 합성 벤치마크를 사용하여 사전학습된 LLM에 대한 일련의 실험으로 이론적 분석을 보완한다. 실증 결과는 우리 이론이 예측한 핵심량 간 트레이드오프를 확인한다. 종합적으로, 우리의 분석은 확장 가능한 다중 에이전트 추론 시스템을 설계하기 위한 원칙적 지침을 제공한다.

arXiv:2607.01600v1cs.LG

BOUNDARY_SYNC: Measuring Communication-Induced Representational Coupling in Multi-Agent LLM Systems

멀티 에이전트 대규모 언어 모델(LLM) 시스템에서 에이전트 간 커뮤니케이션이 출력 분포를 동질화(homogenization)시키는지 측정하기 위해 BOUNDARY_SYNC 프로토콜과 결합 증폭 인수(CAF = JSD_cond / JSD_baseline) 지표를 제안한다. GPT-4o 실험에서 텍스트 및 이미지 커뮤니케이션 모두 유의미한 동질화(CAF≈0.80)를 유발하지만, 에이전트 수가 K=5에서 K=3으로 줄어들면 오히려 다양화(CAF>1.0)로 전환되며, 커플링은 누적 업데이트 없이 프롬프트 컨텍스트에 의해서만 구동되는 무상태(stateless) 특성을 보임을 확인했다.