CONCAT: 효율적인 LLM 기반 다중 에이전트 시스템을 위한 합의 및 신뢰도 기반 애드혹 팀 구성
CONCAT: Consensus- and Confidence-Driven Ad Hoc Teaming for Efficient LLM-Based Multi-Agent Systems
한국어 초록
대규모 언어 모델(LLM) 기반의 다중 에이전트 시스템(MAS)은 복잡한 작업을 해결하고 단일 에이전트 시스템보다 더 높은 성능을 달성하는 역량을 보여주지만, 에이전트 간의 과도한 통신으로 인해 막대한 연산 오버헤드를 초래한다. 기존 연구들은 희소 다중 에이전트 그래프를 학습(training)시키거나 워크플로를 더 잘 조율하기 위해 플래너를 파인튜닝(fine-tuning)하려는 시도를 진행해 왔다. 그러나 이러한 추가적인 학습 과정은 연산 비용을 유발하고 MAS를 특정 도메인으로 제한하여 일반화 가능성을 저해한다. 본 논문에서는 에이전트 간의 상호작용을 효율적으로 조직하기 위해 합의(consensus) 및 신뢰도 기반 애드혹 팀 구성(ad hoc teaming)에 기반한 별도의 학습이 필요 없는(training-free) 다중 에이전트 협업 프레임워크인 CONCAT을 제안한다. 구체적으로, 에이전트들은 초기 답변을 기반으로 클러스터링되며, 각 클러스터의 리더는 에이전트의 신뢰도를 바탕으로 선정된다. 그런 다음, 마음 이론(Theory of Mind)에 기반한 휴리스틱 함수를 설계하여 답변과 신뢰도에 따라 매 두 리더 간의 협업 이득을 예측한다. 마지막으로, 예측된 이득에 따라 일정 비율의 통신을 제거한 후 애드혹 다중 에이전트 네트워크를 구성한다. 3개의 LLM과 3개의 벤치마크에 걸친 실험 결과, CONCAT은 LLM-Debate 대비 최대 2.02배 높은 효율성(정확도/지연 시간 비율)을 달성하고 AgentDropout과 같은 학습 기반 방식을 능가하는 동시에, 어떠한 작업별 학습 없이도 Qwen2.5-14B-Instruct에서 평균 지연 시간을 50.1% 단축함을 입증한다.
원문 초록
Although large language model (LLM) based multi-agent systems (MAS) show their capability to solve complex tasks and achieve higher performance over single agent systems, they lead to huge computational overheads because of heavy communication between agents. Previous research has made efforts to train a sparse multi-agent graph or fine-tune a planner to orchestrate the workflow better. However, such extra training processes introduce computational costs and limit MAS to specific domains, therefore compromising their generalizability. In this paper, we propose CONCAT, a training-free multi-agent collaboration framework based on CONsensus and Confidence-driven Ad hoc Teaming to efficiently organize agent interactions. Specifically, agents are clustered based on their initial answers, and leaders of each cluster are selected based on the agents' confidence. Then, a heuristic function based on the Theory of Mind is designed to predict the collaboration benefits between every two leaders according to their answers and confidence. Finally, an ad hoc multi-agent network is organized after evicting a percentage of communications based on the predicted benefits. Experiments across three LLMs and three benchmarks show that CONCAT achieves up to 2.02x higher efficiency (accuracy/latency ratio) than LLM-Debate and outperforms training-aware methods such as AgentDropout, while reducing average latency by 50.1% on Qwen2.5-14B-Instruct, without any task-specific training.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2605.29612v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습
Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair
대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
에이전틱 대규모 언어 모델
Agentic Large Language Models
대규모 언어 모델(LLM)은 전 세계적으로 큰 반향을 일으키고 있습니다. 인간의 언어로 소통하고 세상을 추론하는 능력 덕분에 LLM은 글쓰기, 질의응답 등 다양한 작업에 널리 활용되는 도구가 되었습니다. 모델이 제공하는 답변은 이미 우리의 결정과 행동에 영향을 미치고 있습니다. 만약 LLM이 세상에서 직접 행동할 수 있다면 어떻게 될까요? LLM끼리 서로 상호작용할 수 있다면 어떤 일이 일어날까요? 에이전틱 LLM은 대규모 언어 모델의 역량과 현실 세계에서 행동하는 능력을 결합합니다. 이 책에서는 에이전틱 LLM이 어떻게 작동하고, 행동하며, 상호작용하는지, 그리고 이것이 사용자로서 우리에게 무엇을 의미하는지 논의합니다.
추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축
Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models
추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.