arXiv:2609.27150v1 cs.AI

복잡한 위상 제어가 필요한가? 개별 피어 무작위 라우팅을 통한 희소 다중 에이전트 토론의 비용 효율성 향상

Do We Need Complex Topology Control? Distinct-Peer Random Routing Improves Cost-Efficiency in Sparse Multi-Agent Debate

Boxuan Wang, Zhuoyun Li, Xiaowei Huang, Yi Dong

제출 2026-09-24

한국어 초록

다중 에이전트(agent) 토론(Multi-agent debate, MAD)은 반복적인 피어 간 상호작용을 통해 대규모 언어 모델(LLM)의 추론(inference) 정확도를 향상시키는 유망한 패러다임으로 부상했습니다. 통신 위상(communication topology)은 이 과정에서 핵심적인 역할을 하며, 정확도나 추론 신뢰성을 높이기 위해 에이전트 상호작용을 학습, 적응 또는 동적으로 재구성하는 점점 더 정교한 메커니즘 개발로 이어졌습니다. 한편, 이전 연구들은 훨씬 단순한 희소(sparse) 통신만으로도 상당히 낮은 비용에 경쟁력 있는 성능을 이미 달성할 수 있음을 시사합니다. 본 연구에서는 희소 MAD를 면밀히 살펴보고, 집합 통신 추론 능력을 개선하는 데 복잡한 위상 제어가 실제로 필요한지 질문을 던집니다. 그 결과, 각 라운드마다 각 에이전트가 새롭게 샘플링된 서로 다른 두 피어와 토론하도록 하는 단순한 비복원 무작위 라우팅 정책이 놀라울 정도로 강력한 기준선(baseline)을 제공하며, 희소 MAD의 정확도-비용 간 절충(trade-off)을 일관되게 개선한다는 점을 발견했습니다. 이러한 관찰을 바탕으로 심의 중단(deliberation stopping) 기법을 추가로 연구하여, 경량화된 중단 방식이 경쟁력 있는 정확도를 유지하면서도 추론 비용을 대폭 절감할 수 있음을 보입니다. 본 결과는 학습 기반 위상 적응과 같은 정교한 위상 제어 기법이 그에 따르는 추가적인 복잡성을 정당화하기 전에, 단순하지만 강력한 라우팅 및 중단 기준선과 비교 평가되어야 함을 시사합니다.

원문 초록

Multi-agent debate (MAD) has emerged as a promising paradigm for improving the reasoning accuracy of large language models (LLMs) through iterative peer interaction. Communication topology plays a central role in this process, motivating increasingly sophisticated mechanisms that learn, adapt, or dynamically reconfigure agent interactions to improve accuracy or reasoning reliability. Meanwhile, prior studies suggest that much simpler sparse communication can already achieve competitive performance at substantially lower cost. In this work, we take a closer look at sparse MAD and ask whether complex topology control is actually necessary to improve collective reasoning. We find that a simple random-without-replacement routing policy, which lets each agent debate with two distinct and newly sampled peers at every round, provides a surprisingly strong baseline and consistently improves the accuracy-cost trade-off of sparse MAD. Building on this observation, we further study deliberation stopping and show that lightweight stopping can substantially reduce inference cost while preserving competitive accuracy. Our results suggest that sophisticated topology control such as learned topology adaption should be evaluated against strong simple routing and stopping baselines before its additional complexity is justified.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27150v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Computational Efficiency

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2609.24894v2cs.CV공통 태그 Computational Efficiency

SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기

SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models

전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.

arXiv:2609.23790v1cs.AI공통 태그 Computational Efficiency

에이전시 총비용: 멀티 에이전트 LLM 워크플로에서 메모리 주입 비용의 정확한 귀속

Total Cost of Agency: Exact Attribution of Memory Injection Cost in Multi-Agent LLM Workflows

멀티 에이전트 대규모 언어 모델(LLM) 워크플로의 모든 노드는 메모리에서 컨텍스트를 검색하여 프롬프트에 주입하며, 주입된 토큰은 시스템 프롬프트와 사용자 쿼리와 동일한 토큰당 단가로 입력 토큰으로 청구된다. 프로덕션 관측(observability) 도구는 총 토큰 비용을 보고하지만 노드가 생성하는 토큰과 전달받은 토큰을 구분하지 않으므로, 청구서의 이 항목은 비용을 지불하는 팀에게는 보이지 않는다. 우리는 멀티 에이전트 워크플로 비용을 기본 프롬프트, 추론, 메모리 주입, 미스 페널티, 컨텍스트 누적 구성요소로 분해한 Total Cost of Agency(TCA)와, 단어 수 프록시로 추정하지 않고 주입 토큰을 직접 측정하는 2-pass 비청구 토큰 카운트 기반의 정확한 귀속 방법을 제안한다. 실제 모델 API에 대해 실행한 200개 태스크 기업 벤치마크에서 메모리 주입은 컴파일 타임 옵티마이저가 개입할 수 있는 가변 비용의 13.6%, 전체 청구 비용의 약 12%를 차지하며, 워크플로 깊이 1에서의 구조적 0에서 깊이 6에서 27.6%까지 그 비중이 증가한다. 측정 구간(깊이 2~6)에서 주입 토큰은 깊이에 대해 선형적으로 증가한다(R^2 = 0.9974); 2차 피팅의 leading coefficient가 음수이므로, 해당 깊이에서 데이터는 볼록(convex) 성장을 보이지 않는다. 고정된 모델 tier에서 이 구성요소가 제어 가능함을 보인다: 검색 윈도우 용량을 32개 항목에서 2개로 줄이면 주입 토큰이 28.7% 감소하고 정확도 변화는 시드(seed) 수준 변동 범위 내이다. 그래프 재작성(graph-rewriting) 변환이 단독으로는 대체로 비용 중립적임을, 다섯 분해 항 중 두 항이 이 하네스(harness)에서 구조적으로 0임을, 총 워크플로 비용이 모델 tier 할당에 의해 지배되며 이를 고정하고 선행 연구로 취급함을 전면 보고한다. 프롬프트 캐싱(prompt caching)은 평가하지 않았으며 모든 수치는 캐시 미사용(uncached) 경우에 대한 것이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.