재매개변수화된 광폭 FFN으로서의 밀집 전문가 혼합: 고정 연산량에서의 세분성 스윕
Dense Mixture-of-Experts as a Reparameterized Wide FFN: A Granularity Sweep at Fixed Compute
한국어 초록
희소 전문가 혼합(Sparse Mixture-of-Experts, MoE) 모델은 학습된 라우팅(routing)과 대규모 전문가 풀(pool)에서의 선택을 결합한다. 우리는 밀집(dense) 대응 모델을 사용하여 동적 전문가 결합의 기여도를 분리한다: 고정된 전체 FFN 너비(width)에서, 모든 토큰에 대해 항상 활성화되고 소프트맥스 게이트(gate)로 결합되는 $K$개의 SwiGLU 전문가를 사용한다. 더 큰 풀이나 이산적(discrete) 선택이 없는 경우, 밀집 기준선은 $K=1$인 경우에 해당한다. 검증 손실은 $K$에 따라 비단조적으로(non-monotonically) 변화한다: $K=2$는 기준선보다 $0.0048$ 개선되는 반면, $K=4$와 $K=6$은 각각 $0.0053$과 $0.0197$만큼 악화된다. 라우팅은 일반적으로 소프트(soft)하게 유지되고 전문가 사용은 균형을 이루지만, $K=4$ 모델의 첫 번째 층에서는 예외적으로 라우팅이 거의 원-핫(one-hot)에 가깝다. 이 게이트를 균등(uniform)하게 강제하면 진단용 서브셋(diagnostic subset)에서 손실이 $2.4$ 나트(nat)만큼 증가하는데, 이는 해당 집중된 라우팅이 기능적으로 중요함을 나타낸다. 또한 우리는 이 아키텍처가 토큰에 따라 달라지고 심플렉스(simplex)로 제약된 그룹 스케일링(scaling)을 갖는 밀집 SwiGLU와 정확히 동일하며, 그 함수 클래스(function class)에 밀집 기준선을 포함함을 보인다. 이러한 단일 실행(single-run) 결과는 고정된 너비에서 항상 활성화되고 소프트하게 게이팅되는 FFN에 대해 세분성(granularity)의 최적점이 존재함을 시사하며, 테스트된 구성들 중 $K=2$가 가장 우수한 성능을 보였다.
원문 초록
Sparse Mixture-of-Experts (MoE) models combine learned routing with selection from a large expert pool. We isolate the contribution of dynamic expert combination using a dense analogue: $K$ SwiGLU experts, all active for every token and combined by a softmax gate, at fixed total FFN width. With no larger pool or discrete selection, the dense baseline is the $K=1$ case. Validation loss varies non-monotonically with $K$: $K=2$ improves over the baseline by $0.0048$, whereas $K=4$ and $K=6$ worsen it by $0.0053$ and $0.0197$, respectively. Routing generally remains soft and expert usage balanced, except in the first layer of the $K=4$ model, where routing is nearly one-hot. Forcing this gate to uniform increases loss by $2.4$ nats on a diagnostic subset, indicating that its concentrated routing is functionally important. We further show that the architecture is exactly a dense SwiGLU with token-dependent, simplex-constrained group scaling and contains the dense baseline in its function class. These single-run results suggest a granularity sweet spot for always-active, softly gated FFNs at fixed width, with $K=2$ performing best among the configurations tested.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
전문가 선택 편향을 통한 데이터 불균형 극복
Overcoming Data Imbalances with Expert Selection Biases
전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.
전문가 혼합(MoE)을 위한 정확한 분위수 균형 및 부하 오류 주입
Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts
전문가 혼합(MoE) 학습은 전문가 미활용을 막기 위해 전역 부하 균형이 필요하고, 효율적인 전문가 병렬 실행을 위해 지역 균형이 필요하다. 기존 분산 Quantile Balancing(QB)은 샤드(shard)에 따라 달라지거나 근사적인 전역 분위수를 사용하며, 토큰과 무관한 전문가 편향(bias)으로는 마이크로배치(microbatch) 수준의 균형을 보장할 수 없다. 우리는 통신 부담이 거의 없이 정확한 전역 배치 BF16 분위수를 계산하는 Exact Quantile Balancing(EQB)과, 지역 부하 오류를 라우터 점수(router-score) 그래디언트에 직접 주입하는 Load-Error Injection(LEI)을 제안한다. 최대 500B 토큰까지 학습한 75억(7.5B) 매개변수 MoE에서 EQB는 단순 QB 대비 전역 균형과 하류(downstream) 성능을 개선하고, LEI는 지역 균형을 개선하며 유사한 품질에서 GShard 손실(loss)을 능가한다.
MoE 라우팅은 허프만 코딩인가? 사고의 연쇄에서 발견한 빈도-다양성 법칙
Is MoE Routing a Huffman Code? Discovering the Frequency-Diversity Law in Chain-of-Thought
전문가 혼합(MoE) 아키텍처는 스케일링을 혁신했지만, 라우팅의 근본적 논리는 여전히 블랙박스로 남아 있다. 본 논문에서는 MoE 라우팅이 단순한 선택이 아니라 허프만 코딩(Huffman Coding)의 현현임을 밝히는 근본적 지배 원칙을 발견한다. 빈도-다양성 법칙(Frequency-Diversity Law)을 제안하며, Phi-3.5-MoE, Gemma-4-27B-A4B와 같은 최신 모델이 자발적으로 정보이론적 엔진으로 작동함을 보인다. 이러한 모델은 흔한 토큰에는 희소 전문가 자원을 배분하는 반면, 사고의 연쇄(Chain-of-Thought) 경로에서 발견되는 드물고 복잡한 과제에는 고다양성 전문가 위원회를 호출한다. 그러나 Qwen3.5-35B-A3B에서 중요한 중복 함정을 확인한다. 유효 희소성(k/E_eff)이 충분히 낮을 때, 로드 밸런싱(load-balancing)이 의도치 않게 기능적 중복을 강요하여 근본적인 허프만 효율 신호를 가린다. 이 격차를 메우기 위해 기능적 중복을 제거하는 정밀 전략인 Subset Difference Pruning을 제안한다. 가지치기가 추론을 저하시키지 않음을 보이며, 오히려 모델의 잠재적 허프만 효율을 해방시켜 논리가 간결하고 고밀도 경로로 수렴하도록 한다. 우리의 발견은 차세대 MoE가 강제적 로드 밸런싱을 넘어 최소 기술 길이(MDL, Minimum Description Length) 최적성을 향해 나아가야 함을 시사한다. 고빈도 정보에는 더 짧은 전문가 라우팅 코드를, 저빈도 정보에는 더 길고 다양한 코드를 할당함으로써 라우팅을 휴리스틱에서 원칙적 압축 엔진으로 전환할 수 있다.
OpenTSLM TeeMoE: 시계열 예측, 문맥 조건부 예측 및 추론을 위한 통합 시계열 언어 모델
OpenTSLM TeeMoE: A Unified Time-Series Language Model for Forecasting, Contextual Prediction, and Reasoning
실제 환경의 시계열 애플리케이션에서는 시계열 예측, 문맥 조건부 예측, 그리고 언어 기반의 시간적 추론을 모두 처리할 수 있는 모델이 점점 더 많이 요구되고 있습니다. 그러나 현재의 시계열 파운데이션 모델들은 이러한 역량 전반에 걸쳐 여전히 파편화되어 있습니다. 수치 특화 모델은 흔히 가장 강력한 예측 성능을 제공하는 반면, 언어 기반 모델은 더 넓은 문맥 이해와 분석 기능을 제공합니다. 핵심 과제는 이러한 이종의 역량들을 각각의 성능 저하 없이 하나로 통합하는 것입니다. 본 논문에서는 관측된 시계열로부터 직접 예측을 수행하고, 텍스트 문맥과 시간적 패턴에 걸쳐 추론하며, 외부 수치 예측 전문 모델들의 예측값을 종합 및 정제할 수 있는 범용 시계열 언어 모델인 OpenTSLM TeeMoE를 소개합니다. 우리는 공유 백본 상에서 예측 종합, 자체 예측, 시간적 분석을 위한 세 개의 저순위(low-rank) 전문가를 독립적으로 학습합니다. 그런 다음 학습된 LoRA 전문가 혼합(MoE) 컨트롤러가 각 요청에 대해 고정된 이들의 매개변수 업데이트에 가중치를 부여합니다. 제안된 모델은 시계열 예측, 문맥 조건부 예측, 언어 기반 시간적 추론 분야의 널리 사용되는 벤치마크에서 우수한 성능을 달성하여, 평균 MASE 순위 기준 GIFT-Eval, RCRPS 기준 Context is Key, 정확도 기준 TimeSeriesExam에서 상위 3위 이내에 올랐습니다.
학습된 에이전틱 컨텍스트 관리
Trained Agentic Context Management
본 연구는 장문 컨텍스트 언어 모델을 다룬다. 장문 컨텍스트를 네이티브로 학습하거나 장문 컨텍스트 하니스(harness)를 설계하는 대신, 우리는 가능한 가장 단순한 하니스 위에서 모델을 학습시킨다: 임의로 지정한 프롬프트로 자기 자신을 호출하는 도구와 입력 컨텍스트에서 특정 범위의 토큰을 읽는 도구가 그것이다. 우리는 이 하니스를 사용하여 다양한 합성 데이터셋으로 Qwen3.6-35B-A3B를 파인튜닝한다. 단 8,000 토큰의 컨텍스트만으로도, 우리의 소형 모델은 문서 길이가 40K 토큰을 초과할 때 OOLONG-synth 벤치마크에서 1M 토큰의 컨텍스트를 가진 GPT-5.4만큼 강력한 성능을 보인다.
KITE: 효율적인 에이전트 LLM 스케일링을 위한 KV 불변 트랜스포머 확장
KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling
언어 모델 스케일링은 최종 품질만의 문제가 아니다. 아키텍처 선택은 특정 모델 품질을 달성하기 위해 학습, 프롬프트 처리, 자기회귀(autoregressive) 디코딩에 얼마나 많은 연산이 소비되는지를 결정한다. 이상적인 모델 아키텍처는 더 큰 모델로의 스케일링을 촉진하기 위해 위의 모든 연산 비용을 낮추면서, 더 큰 모델이 실제로 더 작은 베이스라인보다 우수한 성능을 내야 한다. 우리는 이 목표를 달성하는 스케일링 패러다임인 KV 불변 트랜스포머 확장(KV-Invariant Transformer Expansion, KITE)을 제안한다. KITE는 모델을 더 작은 크기에서 더 큰 크기로 학습시키며(즉, 업사이클링(upcycling)을 통해 학습 비용을 절감), 새로 추가된 파라미터를 어텐션 KV에 영향을 주지 않는 영역에 배치한다. 따라서 추론 시 프리필(prefilling) KV는 모델의 더 작은 부분에만 의존하므로 추론 비용이 절감된다. 구체적인 구현으로, 한 타워가 KV를 생성하고 다른 타워가 이를 읽는 이중 타워 디코더인 Step Scale Transformer(SST)를 제시한다. 동등한 누적 학습 연산량에서, 디코드 토큰당 활성 body 파라미터 2.15B인 67B MoE 모델 SST는, 활성 body 파라미터가 각각 1.48B 및 2.02B인 47B 및 63B MoE 트랜스포머보다 더 낮은 학습 손실을 달성하면서, 추정 추론 비용을 각각 6.7% 및 31.6% 줄인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.