한국어 초록
전문가 혼합(MoE)은 수천억 매개변수 언어 모델의 사실상 표준 아키텍처가 되었으나, 온디바이스 배포를 위한 10억 미만 규모에서의 이점은 아직 충분히 탐색되지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 온디바이스 MoE 언어 모델 제품군인 MobileMoE를 제시합니다. MobileMoE는 10억 미만의 활성 매개변수(활성 0.3-0.9B, 총 1.3-5.3B)를 가지며 온디바이스 대규모 언어 모델(LLM)에 대한 새로운 파레토 경계를 확립합니다. 먼저 모바일 메모리 및 연산 제약 조건 하에서 MoE 아키텍처를 공동으로 최적화하는 온디바이스 MoE 스케일링 법칙을 공식화하여, 온디바이스의 최적점—중간 정도의 희소성과 세분화된 공유 전문가—을 식별했으며, 이는 메모리와 연산 측면에서 동시에 최적입니다. 도출된 아키텍처를 바탕으로, 우리는 오픈소스 데이터셋을 사용하여 사전학습, 중간 학습, 인스트럭션 튜닝, 양자화 인식 학습을 포함하는 4단계 방식으로 MobileMoE를 학습했습니다. 14개의 벤치마크에서 MobileMoE는 2-4배 적은 추론 FLOPs로 최고 성능의 온디바이스 밀집 LLM과 동등하거나 이를 능가하며, 최첨단 MoE 모델인 OLMoE-1B-7B와 최대 60% 적은 매개변수로 동등하거나 이를 능가합니다. 모바일 배포의 마지막 단계를 연결하기 위해, 우리는 포괄적인 온디바이스 프로파일링과 함께 일반적인 스마트폰에서 처음으로 효율적인 MoE 추론을 제공합니다. 비교 가능한 INT4 가중치 메모리에서 MobileMoE-S는 밀집 기준 모델인 MobileLLM-Pro 대비 1.8-3.8배 빠른 프리필과 2.2-3.4배 빠른 디코딩을 제공합니다.
요약
전문가 혼합(Mixture-of-Experts, MoE) 아키텍처는 수천억 개 파라미터 규모의 대규모 언어 모델의 표준적 설계로 자리 잡았으나, 메모리와 연산이 엄격하게 제한된 모바일 기기에서의 장점은 여전히 충분히 탐색되지 못했습니다. 모바일 환경에서의 온디바이스 배포는 밀집 모델(Dense Model)에 비해 추론 계산량을 획기적으로 줄일 수 있는 MoE의 희소성(Sparsity) 특성이 중요함에도 불구하고, 십억 미만 활성 파라미터 범위에서 MoE를 어떻게 설계해야 하는지에 대한 명확한 지침이 부재했습니다. MobileMoE는 이러한 공백을 메우기 위해 메모리와 연산 제약 조건 하에서 MoE 아키텍처를 공동으로 최적화하는 수학적 프레임워크를 제시합니다. 이 스케일링 법칙은 전문가 개수(E), 전문가 세분화도(g), 공유 전문가의 포함 여부라는 세 가지 설계 축을 체계적으로 분석하여, 중간 정도의 희소성과 세분화된 다중 공유 전문가로 구성된 아키텍처가 온디바이스 환경에서 메모리와 계산 측면에서 동시에 최적임을 입증합니다. 저자들은 도출한 아키텍처 원칙을 바탕으로 사전학습, 중간 학습, 지도 학습 기반 파인튜닝, 양자화 인식 학습으로 구성된 네 단계의 포괄적 학습 레시피를 제안합니다. 이를 통해 0.3B부터 0.9B의 활성 파라미터를 가진 MobileMoE 모델 계열을 개발했으며, 추론 비용을 기존 온디바이스 밀집 모델 대비 2배에서 4배 감소시키면서도 14개 벤치마크에서 동등하거나 우수한 성능을 달성합니다. 특히 INT4 가중치 양자화를 적용한 MobileMoE-S는 일반적인 상용 스마트폰에서 기존 방식 대비 1.8배에서 3.8배 빠른 프리필(Prefill) 단계와 2.2배에서 3.4배 빠른 디코드(Decode) 단계를 제공하여, MoE의 효율성이 실제 모바일 환경에서도 실현 가능함을 확증합니다. 이 연구는 모든 학습 데이터와 절차를 개방 라이선스 자원으로 구성하여 재현성을 보장하며, 메모리와 에너지 제약이 근본적인 온디바이스 배포 환경에서 고성능 언어 모델 구현이 가능함을 보여줍니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.