arXiv:2606.19036v1 cs.LG

희소 혼합 전문가 내 불연속성의 기하학적 및 확률적 분석

Geometric and Stochastic Analysis of Discontinuities in Sparse Mixture-of-Experts

Tho Tran Huu, Huu-Tuan Nguyen, Thien-Hai Nguyen, Nhat-Tri Ho, Viet-Hoang Tran, Tho Quan, Tan Minh Nguyen

제출 2026-06-17

한국어 초록

희소 혼합 전문가(Sparse Mixture-of-Experts, SMoE) 아키텍처는 현재 최첨단 언어 및 비전 모델에 널리 배포되어 있으며, 여기서 조건부 라우팅(conditional routing)은 매우 큰 네트워크로의 확장을 가능하게 합니다. 그러나 조건부 라우팅을 가능하게 하는 바로 이 Top-$k$ 전문가 선택은 SMoE 매핑을 본질적으로 불연속적으로 만듭니다. 이러한 불연속면(discontinuity surfaces) 근처에서는 임의로 가까운 입력이라도 현저히 다른 전문가 집합을 활성화하여 상당히 다른 출력을 초래할 수 있습니다. 본 연구에서는 이러한 불연속성에 대한 엄밀한 기하학적 및 확률적 분석을 제공합니다. 먼저 전환 이벤트(switching event)에서 동점인 전문가의 수에 따라 결정되는 차수(order)별로 이를 분류합니다. 측도론적 슬라이싱 논증을 사용하여 확장된 불연속면에 대한 점근적 부피 추정을 확립하고, 저차 불연속성 집합이 지배적이며 고차 불연속성 집합은 무시할 수 있을 정도로 작은 상대 부피를 차지함을 보여줍니다. 다음으로, 확산 과정(diffusion process)을 통해 입력 공간의 무작위 섭동을 모델링하여 경로가 결국 불연속성에 직면함을 증명하고, 더 나아가 명시적인 유한 시간 확률 상한과 함께 최초 도달이 거의 확실하게 1차 불연속성에서 발생함을 증명합니다. 또한 각 불연속성 차수의 근방에서 무작위 경로가 머무는 시간을 정량화하는 체류 시간 상한(occupation-time bounds)을 도출합니다. 이러한 이론적 결과는 입력이 저차 불연속성 근처에 위치할 가능성이 더 높음을 시사합니다. 이러한 통찰에 동기를 부여받아, 불연속성 근처의 전문가를 부드럽게 통합하는 기존 SMoE에 직접 적용할 수 있는 간단한 평활화 메커니즘(smoothing mechanism)을 제안합니다. 우리의 분석은 불연속성 근처에 국소적 평활화를 제공하는 동시에 추가된 계산 오버헤드가 작게 유지됨을 보장하며, 언어 및 비전 작업에 걸친 실험은 평활화가 SMoE 매핑의 연속성을 확보할 뿐만 아니라 실제 성능(empirical performance)도 향상시킴을 보여줍니다.

원문 초록

Sparse Mixture-of-Experts (SMoE) architectures are now widely deployed in state-of-the-art language and vision models, where conditional routing allows scaling to very large networks. However, this very Top-$k$ expert selection that enables conditional routing also renders the SMoE map inherently discontinuous. In the vicinity of these discontinuity surfaces, even inputs that are arbitrarily close may activate substantially different sets of experts resulting in significantly different outputs. In this work we give a rigorous geometric and stochastic analysis of these discontinuities. We first classify them by order, determined by the number of tied experts at a switching event. Using measure-theoretic slicing arguments, we establish asymptotic volume estimates for the thickened discontinuity surfaces, showing that lower-order discontinuity sets dominate, whereas higher-order ones occupy a vanishingly small relative volume. Next, modeling random perturbations in the input space via a diffusion process, we prove that the path eventually encounter a discontinuity, and moreover that the first hit almost surely occurs on an order-1 discontinuity with explicit finite-time probability bounds. We further derive occupation-time bounds that quantify the duration the random path spend in the neighborhoods of each discontinuity order. These theoretical results imply that inputs are more likely to lie near lower order discontinuities. Motivated by this insight, we propose a simple smoothing mechanism that can be directly applied to existing SMoEs, softly incorporating experts near discontinuities; our analysis guarantees that the added computational overhead remains small while providing localized smoothing near discontinuities, and experiments across language and vision tasks show that smoothing not only enforces continuity of the SMoE map but also enhances empirical performance.

요약

Top-k 전문가 선택으로 인한 희소 혼합 전문가(SMoE) 매핑의 불연속성을 차수별로 분류하고, 측도론·확산 과정 분석을 통해 저차 불연속성이 지배적이며 최초 충돌이 1차 불연속에서 거의 확실히 발생함을 보인다. 이에 기반해 기존 SMoE에 적용 가능한 국소 평활화 메커니즘을 제안했고, 언어·비전 실험에서 추가 계산 부담을 작게 유지하면서 연속성을 확보하고 성능도 향상시켰다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19036v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28053v1cs.LG공통 태그 Mixture-of-Experts, Computational Efficiency, expert routing

전문가 혼합(MoE)을 위한 정확한 분위수 균형 및 부하 오류 주입

Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts

전문가 혼합(MoE) 학습은 전문가 미활용을 막기 위해 전역 부하 균형이 필요하고, 효율적인 전문가 병렬 실행을 위해 지역 균형이 필요하다. 기존 분산 Quantile Balancing(QB)은 샤드(shard)에 따라 달라지거나 근사적인 전역 분위수를 사용하며, 토큰과 무관한 전문가 편향(bias)으로는 마이크로배치(microbatch) 수준의 균형을 보장할 수 없다. 우리는 통신 부담이 거의 없이 정확한 전역 배치 BF16 분위수를 계산하는 Exact Quantile Balancing(EQB)과, 지역 부하 오류를 라우터 점수(router-score) 그래디언트에 직접 주입하는 Load-Error Injection(LEI)을 제안한다. 최대 500B 토큰까지 학습한 75억(7.5B) 매개변수 MoE에서 EQB는 단순 QB 대비 전역 균형과 하류(downstream) 성능을 개선하고, LEI는 지역 균형을 개선하며 유사한 품질에서 GShard 손실(loss)을 능가한다.

arXiv:2610.13370v1cs.CL공통 태그 Mixture-of-Experts, expert routing

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2609.35297v3cs.LG공통 태그 Computational Efficiency, Stochastic Optimization

LionMuon: 효율적인 학습을 위한 스펙트럼 및 부호 하강 교차 기법

LionMuon: Alternating Spectral and Sign Descent for Efficient Training

언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon

arXiv:2609.34077v2cs.LG공통 태그 Mixture-of-Experts, Computational Efficiency

MaskCoFT: 메모리 효율적인 MoE 추론을 위한 마스크 기반 공적응 미세조정

MaskCoFT: Masked Co-Adaptive Fine-Tuning for Memory-Efficient MoE Inference

전문가 혼합(MoE) 언어 모델은 종종 단일 GPU의 메모리를 초과합니다. 전문가 오프로딩은 대부분의 전문가를 호스트 메모리에 유지하고 필요에 따라 로드하므로, 디코딩 속도는 각 토큰이 가져와야 하는 전문가 수에 따라 달라집니다. 캐싱과 프리페칭은 라우팅이 허용하는 범위 내에서만 이러한 비용을 줄여줍니다. 라우터 전용 미세조정은 전문가를 재사용하도록 라우팅을 재구성할 수 있지만, 전문가가 동결된 상태로 유지되므로 새로운 라우팅이 전송하는 토큰에 전문가가 적응할 수 없습니다. 본 연구에서는 교차 엔트로피 손실만으로 라우터와 전문가를 함께 학습시키는 마스크 기반 공적응 미세조정 방법인 MaskCoFT를 제안합니다. 미세조정 중에 학습 가능한 이진 마스크는 각 층의 Top-K 라우팅을 전문가의 하위 집합으로 제한하며, 전문가는 자신에게 재지정된 토큰에 적응합니다. 추론 시 학습된 마스크는 전문가의 순위를 다시 매기는 소프트 사전 확률(soft prior)이 되어 모든 전문가가 여전히 선택 가능한 상태로 유지됩니다. 본 연구는 Mixtral-8x7B에 대해 층당 4개 전문가, DeepSeek-V2-Lite에 대해 12개 전문가의 GPU 캐시를 시뮬레이션합니다. MaskCoFT는 베이스 모델 대비 토큰당 전문가 페치 횟수를 각각 23.7%와 10.1% 줄입니다. 실제 오프로딩 시스템 서빙에서 출력 토큰당 시간을 각각 최대 16.4%와 5.5% 낮춥니다. 9개 벤치마크에 대한 평균 정확도는 베이스 모델보다 각각 0.92포인트와 0.53포인트 높게 유지됩니다.

arXiv:2610.02241v1cs.AR공통 태그 Mixture-of-Experts, Computational Efficiency

조 단위 규모 전문가 혼합 모델을 위한 하드웨어 네이티브 통합 희소-양자화

Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts

전문가 혼합(MoE) 아키텍처를 통해 프론티어 언어 모델을 수조 개 파라미터 규모로 확장할 수 있게 되었지만, 방대한 메모리 사용량과 메모리 대역폭의 한계로 인해 실제 배포에는 제약이 따릅니다. 최신 가속기는 저정밀도 반구조화 희소성을 통해 가중치 저장 공간을 줄이고 처리량을 높여주는 희소 텐서 코어(SpTC)를 제공하지만, 상당한 모델 품질 저하와 그룹화된 희소 GEMM 프리미티브의 부재로 인해 MoE에 이를 활용하는 것은 여전히 어렵습니다. 본 논문에서는 전문가 가중치를 하드웨어 네이티브 저정밀도 희소 표현으로 압축하고 SpTC에서의 실행을 가속하는 엔드투엔드 하드웨어-소프트웨어 통합 설계 프레임워크를 제안합니다. 알고리즘 측면에서, 본 프레임워크는 연속적 재매개변수화를 통해 이산적인 반구조화 서포트 선택을 완화함으로써 라우터 가중치 재구성 목표 하에서 양자화된 가중치와의 미분 가능한 통합 최적화 및 확장 가능한 전문가 병렬 압축을 가능하게 합니다. 시스템 측면에서는 SpTC 상의 저정밀도 희소 MoE 추론에 맞춘 커스텀 그룹화 희소 GEMM 커널을 개발합니다. 300억 개에서 1조 개 파라미터에 이르는 MoE 모델 전반에 걸쳐, 제안하는 프레임워크는 기존 최고 수준(SOTA)의 통합 희소-양자화 정확도를 최대 4.35%p 향상시키면서 원래 모델 성능의 96.09%를 보존합니다. NVIDIA B200 GPU에서 개발한 커널은 벤더 기준선 대비 최대 1.65배 뛰어난 성능을 보이며 서빙 처리량을 1.18배 증가시키고 엔드투엔드 지연 시간을 최대 4.03배 단축합니다. 이러한 결과는 하드웨어-소프트웨어 통합 설계가 확장 가능하고 효율적인 MoE 배포를 향한 실용적인 경로임을 입증합니다.

arXiv:2610.02584v1cs.LG공통 태그 Mixture-of-Experts, expert routing

재매개변수화된 광폭 FFN으로서의 밀집 전문가 혼합: 고정 연산량에서의 세분성 스윕

Dense Mixture-of-Experts as a Reparameterized Wide FFN: A Granularity Sweep at Fixed Compute

희소 전문가 혼합(Sparse Mixture-of-Experts, MoE) 모델은 학습된 라우팅(routing)과 대규모 전문가 풀(pool)에서의 선택을 결합한다. 우리는 밀집(dense) 대응 모델을 사용하여 동적 전문가 결합의 기여도를 분리한다: 고정된 전체 FFN 너비(width)에서, 모든 토큰에 대해 항상 활성화되고 소프트맥스 게이트(gate)로 결합되는 $K$개의 SwiGLU 전문가를 사용한다. 더 큰 풀이나 이산적(discrete) 선택이 없는 경우, 밀집 기준선은 $K=1$인 경우에 해당한다. 검증 손실은 $K$에 따라 비단조적으로(non-monotonically) 변화한다: $K=2$는 기준선보다 $0.0048$ 개선되는 반면, $K=4$와 $K=6$은 각각 $0.0053$과 $0.0197$만큼 악화된다. 라우팅은 일반적으로 소프트(soft)하게 유지되고 전문가 사용은 균형을 이루지만, $K=4$ 모델의 첫 번째 층에서는 예외적으로 라우팅이 거의 원-핫(one-hot)에 가깝다. 이 게이트를 균등(uniform)하게 강제하면 진단용 서브셋(diagnostic subset)에서 손실이 $2.4$ 나트(nat)만큼 증가하는데, 이는 해당 집중된 라우팅이 기능적으로 중요함을 나타낸다. 또한 우리는 이 아키텍처가 토큰에 따라 달라지고 심플렉스(simplex)로 제약된 그룹 스케일링(scaling)을 갖는 밀집 SwiGLU와 정확히 동일하며, 그 함수 클래스(function class)에 밀집 기준선을 포함함을 보인다. 이러한 단일 실행(single-run) 결과는 고정된 너비에서 항상 활성화되고 소프트하게 게이팅되는 FFN에 대해 세분성(granularity)의 최적점이 존재함을 시사하며, 테스트된 구성들 중 $K=2$가 가장 우수한 성능을 보였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.