arXiv:2605.09165v2 cs.LG

Sparse Layers are Critical to Scaling Looped Language Models

Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

제출 2026-05-09

원문 초록

Looped language models repeat a set of transformer layers through depth, reducing memory costs and providing natural early-exit points at loop boundaries. However, looped models do not scale as favorably as standard transformers with unique layers. We compare standard and Mixture-of-Experts (MoE) transformers, with and without looping, and find two main results. First, we find Looped-MoE models scale better than the standard baseline while dense looped models do not. We trace this to routing divergence between loops: in Looped-MoE models, different experts are activated on each pass through the same shared layers, recovering expressivity without additional parameters. Our second finding is that looped models have better compute-quality trade-offs with early exits than standard models. Because each loop ends with the same layers that produce the final output, loop boundaries are superior exit points, as confirmed by earlier output convergence at these points. In sum, we provide a clear direction for scaling looped models: a Looped-MoE model with early exits can not only beat standard transformers at scale, but also enable significant memory and inference savings with minimal degradation in quality.

요약

루프드 트랜스포머(looped transformer)가 표준 모델 대비 스케일링 성능이 떨어지는 문제를 해결하기 위해, 전문가 혼합(MoE) 희소 레이어를 루프 구조에 결합한 Looped-MoE 아키텍처를 제안하며, 루프마다 서로 다른 전문가가 활성화되는 라우팅 분기(routing divergence) 현상이 표현력을 회복시킴을 실험적으로 보인다. 그 결과 Looped-MoE는 동일 연산량 대비 표준 트랜스포머보다 낮은 테스트 손실을 달성하며, 루프 경계에서의 조기 종료(early exit)를 통해 품질 저하 없이 추론(inference) 연산량과 메모리를 크게 절감할 수 있음을 확인했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.09165v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27294v1cs.LG공통 태그 Mixture-of-Experts, Language Modeling, Computational Efficiency

KITE: 효율적인 에이전트 LLM 스케일링을 위한 KV 불변 트랜스포머 확장

KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling

언어 모델 스케일링은 최종 품질만의 문제가 아니다. 아키텍처 선택은 특정 모델 품질을 달성하기 위해 학습, 프롬프트 처리, 자기회귀(autoregressive) 디코딩에 얼마나 많은 연산이 소비되는지를 결정한다. 이상적인 모델 아키텍처는 더 큰 모델로의 스케일링을 촉진하기 위해 위의 모든 연산 비용을 낮추면서, 더 큰 모델이 실제로 더 작은 베이스라인보다 우수한 성능을 내야 한다. 우리는 이 목표를 달성하는 스케일링 패러다임인 KV 불변 트랜스포머 확장(KV-Invariant Transformer Expansion, KITE)을 제안한다. KITE는 모델을 더 작은 크기에서 더 큰 크기로 학습시키며(즉, 업사이클링(upcycling)을 통해 학습 비용을 절감), 새로 추가된 파라미터를 어텐션 KV에 영향을 주지 않는 영역에 배치한다. 따라서 추론 시 프리필(prefilling) KV는 모델의 더 작은 부분에만 의존하므로 추론 비용이 절감된다. 구체적인 구현으로, 한 타워가 KV를 생성하고 다른 타워가 이를 읽는 이중 타워 디코더인 Step Scale Transformer(SST)를 제시한다. 동등한 누적 학습 연산량에서, 디코드 토큰당 활성 body 파라미터 2.15B인 67B MoE 모델 SST는, 활성 body 파라미터가 각각 1.48B 및 2.02B인 47B 및 63B MoE 트랜스포머보다 더 낮은 학습 손실을 달성하면서, 추정 추론 비용을 각각 6.7% 및 31.6% 줄인다.

arXiv:2609.28053v1cs.LG공통 태그 Mixture-of-Experts, Language Modeling, Computational Efficiency

전문가 혼합(MoE)을 위한 정확한 분위수 균형 및 부하 오류 주입

Exact Quantile Balancing and Load-Error Injection for Mixture-of-Experts

전문가 혼합(MoE) 학습은 전문가 미활용을 막기 위해 전역 부하 균형이 필요하고, 효율적인 전문가 병렬 실행을 위해 지역 균형이 필요하다. 기존 분산 Quantile Balancing(QB)은 샤드(shard)에 따라 달라지거나 근사적인 전역 분위수를 사용하며, 토큰과 무관한 전문가 편향(bias)으로는 마이크로배치(microbatch) 수준의 균형을 보장할 수 없다. 우리는 통신 부담이 거의 없이 정확한 전역 배치 BF16 분위수를 계산하는 Exact Quantile Balancing(EQB)과, 지역 부하 오류를 라우터 점수(router-score) 그래디언트에 직접 주입하는 Load-Error Injection(LEI)을 제안한다. 최대 500B 토큰까지 학습한 75억(7.5B) 매개변수 MoE에서 EQB는 단순 QB 대비 전역 균형과 하류(downstream) 성능을 개선하고, LEI는 지역 균형을 개선하며 유사한 품질에서 GShard 손실(loss)을 능가한다.

arXiv:2609.26368v1cs.CL공통 태그 Mixture-of-Experts, Language Modeling, Computational Efficiency

HySparse2: 이단계 KV 공유 하이브리드 희소 어텐션

HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing

장기 지평 및 다중 턴 에이전트는 일반적으로 짧은 액션을 생성하고 도구와 환경으로부터 긴 관측을 처리한다. 이렇게 늘어나는 컨텍스트는 효율적인 prefill, 컴팩트한 KV-cache 저장, 정확한 장문맥 검색을 요구한다. 이를 충족하기 위해 이단계 KV 공유를 갖는 하이브리드 희소 어텐션 아키텍처 HySparse2를 제안한다. 외부 수준에서 KV Bridging은 YOCO 스타일의 self-decoder와 cross-decoder 구조를 채택하되, full-attention 레이어만 연결한다. self-decoder는 하이브리드 슬라이딩 윈도우 어텐션(SWA)을, cross-decoder는 하이브리드 희소 어텐션을 사용한다. cross-decoder의 full-attention 레이어용 KV cache는 self-decoder의 full-attention 레이어 은닉 상태에서 생성된다. 내부 수준에서 HySparse2는 HySparse의 핵심 KV Reuse 설계를 유지하면서 두 가지를 개선한다. 첫째, 더 세밀한 장문맥 검색을 위해 블록 수준 희소성을 토큰 수준 희소성으로 바꾼다. 둘째, 희소 레이어의 별도 SWA 분기를 제거하고, 대신 최근 토큰의 슬라이딩 윈도우를 희소 선택에 반드시 포함시킨다. 이 이단계 KV 공유로 cross-decoder의 모든 KV cache를 self-decoder 은닉 상태만으로 구성할 수 있다. 따라서 prefill은 self-decoder 이후 종료되어 cross-decoder 레이어 전체를 건너뛸 수 있다. 80B-A3B MoE 모델에서 HySparse2는 장문맥 검색과 다중 턴 에이전틱 태스크에서 HySparse 및 Hybrid SWA보다 우수하며, prefill 연산과 KV-cache 저장을 크게 줄인다.

arXiv:2610.13370v1cs.CL공통 태그 Mixture-of-Experts, Language Modeling

전문가 선택 편향을 통한 데이터 불균형 극복

Overcoming Data Imbalances with Expert Selection Biases

전문가 혼합(MoE) 모델은 프론티어 대규모 언어 모델(LLM)의 표준 아키텍처로 자리 잡았습니다. 각 트랜스포머(transformer) 블록에 존재하는 다수의 병렬 전문가는 이론적으로 사전학습(pre-training) 과정에서 도메인, 언어 또는 모달리티와 같은 카테고리에 맞춰 전문가의 전문화를 가능하게 합니다. 그러나 카테고리 간 데이터가 불균형할 경우, 소수 카테고리는 전문가 풀의 작은 일부분에 집중되거나 비효율적으로 분산되어 실질적으로 활용 가능한 용량이 제한될 수 있습니다. 본 연구에서는 카테고리 조건부 전문가 선택 편향(expert-selection bias)을 통해 서로 다른 카테고리의 토큰을 특화된 전문가 풀로 우선 라우팅할 수 있음을 입증합니다. 입력 카테고리에 기반한 편향을 적용함으로써, 유연한 카테고리 맞춤형 전문화를 유도하는 간단한 방법을 제시합니다. 이러한 개입은 필요에 따라 카테고리 간 공유를 유지하면서도 카테고리가 구별된 전문가 하위 집합으로 향하도록 유도합니다. 더 중요하게는, 데이터 부족으로 인해 불리할 수 있는 카테고리에 전문가 용량을 초과 할당(over-allocation)할 수 있도록 지원합니다. 최대 10.6B 파라미터 크기의 모델에서 다양한 모달리티, 저자원 언어, 코드 전반에 걸친 성능 향상을 확인했습니다. 가장 작은 모델 규모와 가장 큰 모델 규모에서 이러한 성능 향상은 기준선(baseline) 대비 각각 18.5% 및 2.7%의 추가 학습 토큰을 할당한 것과 맞먹는 수준입니다. 전반적으로 본 연구 결과는 전문가 편향이 표준 MoE 추론을 유지하면서도 저자원 카테고리를 위한 공간을 확보하고 카테고리 수준의 전문가 할당을 위한 경량화된 제어 수단으로 활용될 수 있음을 보여줍니다.

arXiv:2610.13605v1cs.CL공통 태그 Language Modeling, Computational Efficiency

zip2zip++: 최소한의 품질 손실로 추론 시점 토큰 압축을 향하여

zip2zip++: Towards Inference-Time Token Compression with Minimal Quality Loss

Lempel-Ziv-Welch(LZW) 압축을 통해 즉석에서 구축되는 동적 어휘(dynamic vocabulary)는 언어 모델이 동일한 텍스트를 더 적은 토큰으로 표현할 수 있게 해주지만, 기존 연구에 따르면 이러한 효율성은 추론 능력과 퍼플렉시티(perplexity)의 저하를 대가로 한다. 우리는 이러한 품질 격차가 압축에 따른 근본적인 대가가 아니며, 기반이 되는 사전학습된 언어 모델을 수정하지 않고도 압축 층과 LZW 코덱에 대한 표적화된 개선을 통해 상당 부분 해소될 수 있음을 보인다. 우리의 분석은 네 가지 핵심 문제를 밝혀낸다: (1) LZW의 압축 알고리즘은 입력 임베딩과 출력 임베딩 사이에 암묵적인 충돌을 발생시키며, 이는 단일한 공유 임베딩으로는 해결할 수 없는 긴장 관계이다; (2) RoPE를 LZW로 압축된 시퀀스에 단순하게 적용하면 병합된 토큰이 여러 토큰에 걸쳐 있을 수 있다는 사실을 무시하게 된다; (3) 특정 토큰(특히 숫자)의 병합은 다운스트림 정확도를 불균형적으로 저해한다; 그리고 (4) 동적 어휘는 표준 평가를 혼란스럽게 만드는 본질적인 분절 모호성을 야기한다. 우리는 입력/출력을 분리한 동적 임베딩 층, 크기를 인식하는 RoPE 위치 인코딩, 그리고 선택적 병합과 다중 관점 분절(multi-view segmentation)을 지원하는 수정된 LZW 코덱을 통해 이러한 문제들을 해결한다. 네 가지 모델에 걸쳐, 우리의 방법은 평가한 모든 코퍼스에서 퍼플렉시티를 개선할 뿐만 아니라 수학적 추론 정확도도 향상시키며, 일반 텍스트에서 유사한 압축률로 zip2zip과 비압축 기준선 사이의 품질 격차를 대략 절반으로 줄인다. 이는 언어 모델을 위한 무손실 적응형 어휘 압축을 향한 중요한 진전을 의미한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.