DAG-MoE: From Simple Mixture to Structural Aggregation in Mixture-of-Experts
한국어 초록
전문가 혼합(Mixture-of-Experts, MoE) 모델은 대규모 언어 모델(LLM)에서 매개변수 수를 계산 비용과 분리하는 주요 접근법으로 자리 잡았지만, MoE 성능을 효과적으로 스케일링하는 것은 여전히 과제입니다. 이전 연구는 세분화된 전문가가 전문가 조합의 공간을 넓히고 유연성을 향상시킨다는 것을 보여주었지만, 동시에 상당한 라우팅 오버헤드를 초래하여 새로운 확장성 병목을 만들었습니다. 본 논문에서는 스케일링을 위한 보완적인 축, 즉 전문가 출력이 어떻게 집계되는지를 살펴봅니다. 이론적으로, 표준 가중 합산 집계를 구조적 집계로 대체하면 전문가나 라우터를 변경하지 않고도 전문가 조합 공간이 확장되며, 단일 MoE 층 내에서 다단계 추론이 가능해질 수 있음을 보입니다. 이를 위해, 선택된 전문가들 사이에서 최적의 집계 구조를 자동으로 학습하는 경량 모듈을 사용하는 희소 MoE 프레임워크인 DAG-MoE를 제안합니다. 표준 언어 모델링 설정에서 수행한 광범위한 실험 결과, DAG-MoE는 사전학습과 파인튜닝 모두에서 일관되게 성능을 향상시키며, 기존 MoE 기준선들을 능가함을 보였습니다.
요약
대규모 언어 모델에서 Mixture-of-Experts(MoE) 구조는 파라미터 수와 계산량을 분리해 확장성을 높이는 유력한 방법으로 자리 잡았지만, 전문가 수를 늘리거나 더 세분화된 전문가를 도입할수록 라우팅 비용이 커져 또 다른 병목이 발생한다. 이러한 한계를 겨냥해 DAG-MoE는 전문가를 선택하는 방식보다, 선택된 전문가의 출력을 어떤 구조로 결합할 것인가에 주목하며, 기존의 단순 가중합(weighted summation) 집계 대신 유향 비순비 그래프(DAG, Directed Acyclic Graph) 기반의 구조적 집계를 도입한다. 핵심 아이디어는 라우터와 전문가 자체는 그대로 유지한 채, 전문가 출력의 조합 경로를 학습 가능한 그래프로 바꾸어 더 풍부한 전문가 결합 공간을 확보하는 데 있다. 이를 통해 동일한 Top-K 선택 결과를 사용하더라도, 출력이 한 번에 섞이는 것이 아니라 중간 표현을 거치며 단계적으로 결합될 수 있어, 한 개의 MoE 층 안에서도 다단계 추론(multi-step reasoning)에 가까운 계산 흐름을 구현할 수 있다. 특히 이 접근은 전문가를 더 많이 추가하는 방식이 아니라 집계 구조의 자유도를 넓히는 방식이므로, 성능 향상과 확장성 사이의 균형을 새롭게 설계한다는 점에서 의미가 크다. 방법론적으로 DAG-MoE는 선택된 전문가들을 그래프의 0층 노드로 두고, 이후의 중간 노드들이 AGG 집계를 통해 생성된 표현을 다시 결합하는 계층적 계산 과정을 형식화한다. 논문은 가능한 DAG 공간을 명시적으로 정의한 뒤, 그 안에서 최적의 집계 구조를 학습하는 경량 모듈을 설계하여 복잡한 구조 탐색을 효율적으로 수행한다. 이러한 설계는 라우터가 담당하는 “누구를 선택할 것인가”와 구조 학습 모듈이 담당하는 “어떻게 결합할 것인가”를 분리함으로써, 기존 MoE의 sparsity 장점을 유지하면서도 표현력을 확장한다. 또한 노드와 간선으로 이루어진 DAG 표기는 트리 구조를 포함하는 더 일반적인 형태를 포괄하므로, 단순한 계층적 평균이나 선형 결합보다 훨씬 다양한 조합 패턴을 표현할 수 있다. 결국 DAG-MoE의 본질은 전문가 집합을 바꾸는 것이 아니라, 전문가 출력이 상호작용하는 방식을 그래프 구조로 재구성하는 데 있다. 실험적으로는 표준 언어 모델링 환경에서 사전학습(pretraining)과 파인튜닝(fine-tuning) 모두를 평가하여, 구조적 집계가 특정 조건에만 국한된 기법이 아님을 보여 준다. 보고된 결과에 따르면 DAG-MoE는 전통적인 MoE 기준선들을 일관되게 능가하며, 이는 성능 개선의 주된 원인이 전문가 수의 증가나 라우팅 복잡도의 확대가 아니라 집계 구조 자체에 있음을 시사한다. 특히 동일한 전문가와 라우터를 유지한 상태에서 개선이 나타났다는 점은, MoE의 병목이 선택 단계뿐 아니라 결합 단계에도 존재한다는 논지를 강하게 뒷받침한다. 이러한 관점은 앞으로의 MoE 연구가 라우팅, 전문가 분해, 집계 연산을 함께 고려해야 함을 보여 주며, MoE를 단순한 파라미터 절감 기법이 아니라 계층적 추론을 담아낼 수 있는 계산 구조로 확장할 가능성을 제시한다. 요약하면, DAG-MoE는 MoE 스케일링의 초점을 “더 많은 전문가”에서 “더 정교한 구조적 집계”로 이동시킨 방법론적 제안이며, 적은 추가 비용으로 더 높은 표현력과 안정적인 성능 향상을 동시에 추구한다는 점에서 중요한 기여를 갖는다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.