MegaTrain: Full Precision Training of 100B+ Parameter Large Language Models on a Single GPU
한국어 초록
우리는 단일 GPU에서 1000억 개 이상의 파라미터를 가진 대규모 언어 모델(LLM)을 전체 정밀도로 효율적으로 학습하는 메모리 중심 시스템인 MegaTrain을 제시한다. 기존의 GPU 중심 시스템과 달리, MegaTrain은 파라미터와 옵티마이저 상태를 호스트 메모리(CPU 메모리)에 저장하고 GPU를 일시적인 연산 엔진으로 취급한다. 각 레이어에 대해, 파라미터를 스트리밍하여 가져오고 그래디언트를 스트리밍하여 내보내면서 지속적인 디바이스 상태를 최소화한다. CPU-GPU 대역폭 병목을 극복하기 위해, 우리는 두 가지 핵심 최적화를 채택한다. 1) 여러 CUDA 스트림에 걸쳐 파라미터 프리페치, 계산, 그래디언트 오프로딩을 겹치게 하는 파이프라인형 더블 버퍼링 실행 엔진을 도입하여 GPU의 연속 실행을 가능하게 한다. 2) 지속적인 오토그라드 그래프를 상태 비저장 레이어 템플릿으로 대체하고, 가중치가 스트리밍되어 들어올 때 이를 동적으로 바인딩함으로써 지속적인 그래프 메타데이터를 제거하는 동시에 스케줄링의 유연성을 제공한다. 1.5TB 호스트 메모리를 갖춘 단일 H200 GPU에서 MegaTrain은 최대 1200억 파라미터 규모의 모델을 안정적으로 학습한다. 또한 14B 모델 학습 시 CPU 오프로딩을 사용하는 DeepSpeed ZeRO-3보다 1.84$\times$ 높은 학습 처리량을 달성한다. MegaTrain은 또한 단일 GH200에서 512k 토큰 컨텍스트를 사용하는 7B 모델 학습을 가능하게 한다.
요약
대규모 언어 모델(Large Language Model, LLM) 학습이 사전학습(pre-training)보다 사후학습(post-training)과 맞춤형 적응으로 무게 중심을 옮기면서, 실제 병목은 연산 능력보다 메모리 용량과 데이터 이동 비용으로 더욱 분명하게 드러나고 있다. MegaTrain은 이러한 문제를 정면으로 다루기 위해, GPU를 모델 상태의 상주 공간으로 보는 기존 관점을 버리고 호스트 메모리(host memory, CPU memory)를 중심에 두는 메모리 중심(memory-centric) 학습 체계를 제안한다. 이 체계에서 파라미터와 옵티마이저 상태(optimizer states)는 CPU 메모리에 저장되고, GPU는 필요한 순간에만 계산을 수행하는 일시적 연산 엔진으로 동작한다. 학습은 레이어 단위로 진행되어 각 레이어의 파라미터를 GPU로 스트리밍한 뒤 전방향 계산과 역방향 계산을 수행하고, 그래디언트는 다시 호스트 메모리로 돌려보내는 방식으로 구성된다. 이러한 설계는 GPU 메모리에 영구적으로 남아야 하는 상태를 최소화하여, 초대형 모델에서도 디바이스 메모리 사용량을 사실상 단일 레이어 수준으로 제한한다. 또한 중간 활성값(intermediate activations)은 GPU 버퍼에 유지하되 블록 단위 재계산(block-wise recomputation)을 활용해 누적 부담을 줄임으로써, 긴 시퀀스와 큰 배치에서도 안정적인 학습을 가능하게 한다. 이 접근의 핵심은 CPU-GPU 대역폭 병목을 단순한 전송 문제로 보지 않고, 연산과 이동을 정교하게 겹치는 스케줄링 문제로 재해석한 데 있다. 이를 위해 MegaTrain은 파이프라인화된 더블 버퍼(pipelined double-buffered) 실행 엔진을 도입하여 파라미터 선탐색(prefetching), GPU 계산, 그래디언트 오프로딩(offloading)을 여러 CUDA 스트림(stream)에서 중첩시키고, 그 결과 GPU가 대기하지 않고 연속적으로 동작하도록 만든다. 여기에 더해 정적 상태를 전제로 하는 기존 자동미분(autograd) 그래프 대신 무상태 레이어 템플릿(stateless layer templates)을 사용하여, 가중치를 동적으로 바인딩하면서도 거대한 그래프 메타데이터를 유지할 필요를 없앴다. 이 설계는 메모리 절약 효과를 넘어, 레이어별 실행 순서를 유연하게 조정할 수 있게 하여 대형 모델 학습의 시스템적 복잡성을 크게 낮춘다. 실험적으로 MegaTrain은 1.5TB 호스트 메모리를 갖춘 단일 H200 GPU에서 최대 120B 파라미터 규모의 모델을 안정적으로 학습했으며, 14B 모델 학습에서는 DeepSpeed ZeRO-3의 CPU 오프로딩 대비 1.84배의 처리량을 달성했다. 더 나아가 GH200 환경에서는 7B 모델에 대해 512k 토큰 컨텍스트 학습까지 지원하여, 장문 문맥과 초대형 파라미터를 동시에 다루는 차세대 학습 시나리오에 대한 실용성을 입증했다. 결국 이 연구는 대규모 언어 모델 학습의 한계를 GPU 연산 성능이 아니라 메모리 계층의 활용 방식으로 재정의하며, 단일 GPU 환경에서도 100B+ 규모 학습을 가능하게 하는 새로운 시스템적 해법을 제시한다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.