PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.07404v1cs.LG

가역적 기반: 상태 보존 스케일링을 통한 120B 희소 전문가 혼합(MoE) 학습

Reversible Foundations: Training a 120B Sparse MoE through State-Preserving Scaling

본 논문은 단일 8-GPU 노드에서 천억 개의 매개변수를 가진 희소 전문가 혼합(MoE)을 종단 간(end-to-end)으로 학습한 결과를 보고합니다. LightningLM 0.1V는 작은 조밀(dense) 시드(seed)에서 시작하여 5B 및 9B 전문가 혼합을 거쳐, top-12 라우팅 하에 460개의 라우팅된 전문가를 갖는 120B 모델로 성장한 4단계 순환(recurrence) 백본 언어 모델 계열입니다. 각 더 큰 모델은 더 작은 모델의 학습된 가중치에서 성장하며, 활성 매개변수는 조밀 시드의 1.78B에서 120B의 5.93B(저장된 118.67B의 약 5%)로 단조롭게 증가합니다. 전체 계열은 단일 노드에서 실행되며, 더 큰 단계에서는 8K 컨텍스트(context)로 120B 규모에서 1.78의 학습 손실(loss)에 도달했습니다. 이것은 시스템 및 경험 보고서입니다. 이 보고서는 세 가지 원칙을 중심으로 구성되어 있습니다. 가역성(Reversibility): 가역적 순환 스택은 활성화(activation)를 저장하는 대신 역전파 단계에서 이를 재구성하여, 모델이 성장함에 따라 활성화 메모리 사용량을 평탄하게 유지합니다. 상태 보존 성장(State-preserving growth): 각 확장(조밀에서 MoE로, 얕은 곳에서 깊은 곳으로, 소수 전문가에서 다수 전문가로)은 잘못 수행했을 때 발생하는 실패와 짝을 이루는 재현 가능한 원칙으로 제시됩니다. 여러 실패는 무음(silent)입니다. 단일 노드 경제성(Single-node economics): 120B 모델은 양자화된 기본 전문가 가중치와 학습된 저차원 어댑터 전략인 TQP를 통해 학습됩니다. 이는 라우팅된 전문가에 상주하는 100B 이상의 매개변수 대신 2.26B 어댑터 매개변수에 옵티마이저(optimizer) 상태를 유지하여 전문가 경로의 옵티마이저 상태를 약 45배 줄입니다. 새로운 점은 고립된 개별 원시 요소가 아니라 알려진 원시 요소들의 통합입니다. 즉, 단일 노드에서 종단 간으로 실행되는 하나의 성장 계열, 실무자 수준에서 문서화됨, 그리고 목표 역량(다국어 인도어족 능력, 코드)이 구성(construction)을 통해 학습되었음을 증명하는 도메인별 홀드아웃 손실(held-out loss)이 그것입니다. 모델 계열, 토크나이저(tokenizer), 학습 코드가 공개되었습니다.