ARMOR-MAD: 대규모 언어 모델 추론을 위한 이종 다중 에이전트 토론의 적응형 라우팅
ARMOR-MAD: Adaptive Routing for Heterogeneous Multi-Agent Debate in Large Language Model Reasoning
한국어 초록
다중 에이전트 토론(MAD)은 대규모 언어 모델(LLM)의 추론 능력을 향상시킬 수 있지만, 고정된 토론 파이프라인은 계산 자원을 낭비하고 유사한 에이전트 간의 상관된 오류를 증폭시킬 수 있다. 본 논문에서는 토론을 조건부 계산으로 처리하는 학습 불필요(training-free) 이종 MAD 프레임워크인 ARMOR-MAD를 제안한다. ARMOR-MAD는 세 가지 구성 요소를 결합한다: 사전 토론 동의 라우팅(PAR, Pre-debate Agreement Routing)은 독립적으로 생성된 Round-0 답변이 토론을 필요로 하는지 결정하고, 조기 동의 중단 평가자(EASE, Early Agreement Stopping Evaluator)는 수렴 후 토론을 중단하며, 의미적 이상값 탐지(SOD, Semantic Outlier Detection)는 집계 시 비정상적인 최종 답변의 가중치를 낮춘다. MATH Level 5, GSM8K, MMLU, MMLU-Pro 전반에 걸쳐 ARMOR-MAD는 동일한 모델 풀을 사용하는 고정 라운드 이종 토론 대비 일관되게 향상된 성능을 보이며, 각각 65.5%, 96.5%, 90.0%, 81.5%의 정확도를 달성했다. 이 결과는 진정한 모델 이종성과 동의 기반 제어가 MAD를 더욱 정확하고 효율적으로 만드는 데 모두 중요함을 시사한다.
원문 초록
Multi-agent debate (MAD) can improve large language model reasoning, but fixed debate pipelines often waste computation and can amplify correlated errors among similar agents. We propose ARMOR-MAD, a training-free heterogeneous MAD framework that treats debate as conditional computation. ARMOR-MAD combines three components: Pre-debate Agreement Routing (PAR) decides whether independently generated Round-0 answers require debate; Early Agreement Stopping Evaluator (EASE) stops debate after convergence; and Semantic Outlier Detection (SOD) down-weights abnormal final answers during aggregation. Across MATH Level 5, GSM8K, MMLU, and MMLU-Pro, ARMOR-MAD consistently improves over fixed-round heterogeneous debate with the same model pool, reaching 65.5\%, 96.5\%, 90.0\%, and 81.5\% accuracy, respectively. The results suggest that genuine model heterogeneity and agreement-based control are both important for making MAD more accurate and efficient.
요약
고정된 다중 에이전트 토론(MAD) 파이프라인의 비효율성을 개선하기 위해 ARMOR-MAD는 토론을 조건부 계산으로 처리하는 학습 없는 이종 프레임워크를 제안합니다. 사전 토론 동의 라우팅(PAR)과 조기 중단 평가자(EASE) 등을 활용한 이 방법은 MATH, GSM8K, MMLU 벤치마크에서 기존 고정 라운드 방식보다 높은 정확도와 효율성을 보여주었습니다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.13197v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델(LLM) 추론을 위한 테스트 시점 캘리브레이션 학습
Test-time Calibration Learning for Large Language Model Reasoning
신뢰할 수 있는 대규모 언어 모델(LLM)은 정확한 답변을 생성하는 것뿐만 아니라, 정답일 확률을 충실히 반영하는 신뢰도(confidence)를 표현해야 한다. 이러한 캘리브레이션(calibration)은 불확실한 예측을 식별하고 실제 배포 환경에서의 신뢰할 수 있는 의사결정을 지원하는 데 필수적이다. 최근 연구들은 캘리브레이션 학습을 강화학습에 결합하여, 정답 여부에 대한 정답(ground-truth) 정확성 감독(supervision)을 이용해 답변 정확성과 언어로 표현된 신뢰도(verbalized confidence)를 공동으로 최적화한다. 그러나 이러한 접근법은 레이블이 있는 데이터에 의존하기 때문에, 정답 레이블을 사용할 수 없고 캘리브레이션이 새롭게 접하는 목표 과제(target task)에 적응해야 하는 실제 테스트 시점(test-time) 환경에서의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 우리는 레이블이 없는 목표 과제 데이터에서 직접 추론 정확도와 언어로 표현된 신뢰도를 공동으로 적응시키는 레이블-프리(label-free) 프레임워크인 테스트 시점 캘리브레이션 학습(Test-Time Calibration Learning, TTCL)을 제안한다. 구체적으로, TTCL은 다수의 모델 생성 응답으로부터 정답 여부와 캘리브레이션 모두에 대한 자기 감독(self-supervision) 신호를 도출하여, 정답 레이블 없이도 테스트 시점에서의 캘리브레이션 학습을 가능하게 한다. 이론적 분석을 통해 TTCL이 이상적인 캘리브레이션 목적함수에 대한 경계가 있는(bounded) 대체 목표(surrogate)임을 추가로 입증한다. 수학적 추론과 사실 기반 질의응답(factual question answering)에 대한 광범위한 실험을 통해, TTCL이 다양한 모델과 과제에서 정확도와 캘리브레이션을 일관되게 향상시킨다는 것을 보인다. 기본 모델(base model)에서 TTCL은 8개의 벤치마크에서 평균 상대 정확도 개선 +40.13%와 ECE(Expected Calibration Error) 감소 +70.80%를 달성한다. 더불어 TTCL은 이미 캘리브레이션된 모델에 대해서도 도메인 변화(domain shift) 상황에서 정확도와 캘리브레이션을 더욱 개선할 수 있으며, 특히 소스 도메인(source-domain)의 캘리브레이션이 목표 과제로 잘 전이되지 않는 경우에 효과적이다. 수학-사실 기반 질의응답(math-to-factQA) 설정에서 TTCL은 평균 상대 정확도 향상 +20.35%를 달성하고 ECE를 +53.83% 감소시킨다. 소스 코드는 https://github.com/tmlr-group/TTCL 에서 공개되어 있다.
토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습
Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction
대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.
검토는 더 강력한 모델을 거의 능가하지 못한다: LLM 파이프라인에서 검증과 능력 전이의 분리
Review Rarely Beats the Stronger Model: Separating Verification from Capability Transfer in LLM Pipelines
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습
MENTOR: Learning from Failure with On-Policy Pedagogical Intervention
검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.
추론이 아닌 결정 학습: 저차원 활성화 스티어링을 통한 매개변수 효율적 결정 연산자
Learning to Decide, Not to Reason: Parameter-Efficient Decision Operators via Low-Rank Activation Steering
동결된(frozen) 언어 모델에 스킬을 주입하는 데는 현재 백만 개의 매개변수와 강화학습 파이프라인이 소요됩니다. 본 연구에서는 행동 복제(behavior cloning)로 학습되어 이 비용을 약 2단계(orders of magnitude)가량 낮추는 시스템-1(System-1) 결정 연산자인 DecSteer를 소개합니다. 기본 연산자는 33만(330K) 개의 매개변수를 사용하여 강화학습으로 학습된 133만(1.33M) 개 매개변수의 연산자와 동등하거나 그 이상의 성능을 달성하는 동시에, 정확도 손실 없이 3,685개 토큰의 숙고 과정을 6개 토큰의 결정으로 압축합니다. 기존에 발표된 가장 강력한 스킬 연산자의 1/58 수준인 2만 3천(23K) 개 매개변수를 가진 랭크-4(rank-4) 변형은 SearchQA에 충분하며, 더 높은 랭크가 여전히 도움이 되는 LiveMath에서도 충분한 수준에 근접합니다. 동일한 방식이 5가지 태스크와 3가지 백본 전반에 전이되며, 학습 후 수개월 뒤에 공개된 LiveMath 문제에서도 분포 외(out-of-distribution) 성능 향상이 유지됩니다. 이전 연구와의 성능 격차 원인은 학습 가능성(trainability)에 있으며, 이는 초기화와 아키텍처에 의해 함께 결정됩니다. 이전 연산자들의 초기화는 첫 최적화 단계에서 두 대형 인수 행렬의 그래디언트를 0으로 만드는 반면, 공유된 저차원 백본 내부에서 영점 초기화(zero-initialized)된 본 연구의 출력 투영은 즉시 그래디언트를 수신하며, 이는 그래디언트 흐름 탐침(gradient-flow probe)을 통해 직접 확인됩니다. 이러한 성능 향상은 사고의 연쇄(Chain-of-Thought) 압축에 의한 것이 아닙니다. LiveMath의 57점 중 23점은 기본 모델의 Best-of-8 샘플링을 능가하며, 로짓 렌즈(logit-lens) 탐침을 통해 연산자가 답을 조기에 작성하는 것이 아니라 모델의 기존 후반부 층 경로를 따라 답을 증폭한다는 것을 보여줍니다. 성능 이득은 13개의 기본 모델-태스크 쌍에 걸쳐 기본 모델의 개선 여지(headroom)를 따르며, 스킬들은 추론 시점에 더하고, 보간하고, 핫스왑할 수 있는 대략적인 선형 연산자로 결합됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.