DataStates-LLM: Composable State Provider를 이용한 트랜스포머 모델의 확장 가능한 체크포인팅
DataStates-LLM: Scalable Checkpointing for Transformer Models Using Composable State Providers
한국어 초록
대규모 트랜스포머 기반 모델, 특히 수조 개의 매개변수 규모로 확장되는 대규모 언어 모델(LLM)의 급속한 성장으로, 데이터·텐서·파이프라인 병렬화와 같은 복잡한 하이브리드 병렬화 전략을 사용해 수천 개의 GPU에서 학습하는 것이 필요해졌다. 이러한 거대한 분산 상태의 체크포인팅은 복원력(resilience), 일시 중단-재개(suspend-resume), 바람직하지 않은 학습 궤적 조사, 모델 진화 설명 등 다양한 사용 사례에 필수적이다. 그러나 기존 체크포인팅 솔루션은 일반적으로 모델 상태를 불투명한 이진 blob으로 취급하여, 기본 데이터 구조의 「3D 이질성」—메모리 위치(GPU vs. Host), 여러 파일에 샤딩되고 분할된 「논리적」 객체 수, 데이터 유형(텐서 vs. Python 객체), 직렬화 요구사항에 따라 달라지는 특성—을 무시한다. 이로 인해 차단형 device-to-host 전송, 데이터 무시형 직렬화, 저장소 I/O 경합으로 인한 상당한 런타임 오버헤드가 발생한다. 본 논문에서는 State Provider를 활용해 상태 추상화와 데이터 이동을 분리하는 새로운 체크포인팅 아키텍처인 DataStates-LLM을 제안한다. DataStates-LLM은 순전파 및 역전파 동안 모델 매개변수의 불변성을 이용해 「lazy」한 비차단 비동기 스냅샷을 수행한다. State Provider를 도입함으로써 파편화되고 이질적인 샤드를 효율적으로 병합하고, 메타데이터 직렬화를 대량 텐서 I/O와 중첩(overlap)한다. 우리는 256개의 A100-40GB GPU에서 최대 700억 매개변수 모델에 대해 DataStates-LLM을 평가했다. 결과는 DataStates-LLM이 최신 솔루션 대비 체크포인팅 처리량을 최대 4× 높이고 종단간 학습 시간을 최대 2.2× 줄였음을 보여주며, 극대규모 LLM 학습에서 직렬화 및 이질성 병목을 효과적으로 완화한다.
원문 초록
The rapid growth of Large Transformer-based models, specifically Large Language Models (LLMs), now scaling to trillions of parameters, has necessitated training across thousands of GPUs using complex hybrid parallelism strategies (e.g., data, tensor, and pipeline parallelism). Checkpointing this massive, distributed state is critical for a wide range of use cases, such as resilience, suspend-resume, investigating undesirable training trajectories, and explaining model evolution. However, existing checkpointing solutions typically treat model state as opaque binary blobs, ignoring the ``3D heterogeneity'' of the underlying data structures--varying by memory location (GPU vs. Host), number of ``logical'' objects sharded and split across multiple files, data types (tensors vs. Python objects), and their serialization requirements. This results in significant runtime overheads due to blocking device-to-host transfers, data-oblivious serialization, and storage I/O contention. In this paper, we introduce DataStates-LLM, a novel checkpointing architecture that leverages State Providers to decouple state abstraction from data movement. DataStates-LLM exploits the immutability of model parameters during the forward and backward passes to perform ``lazy'', non-blocking asynchronous snapshots. By introducing State Providers, we efficiently coalesce fragmented, heterogeneous shards and overlap the serialization of metadata with bulk tensor I/O. We evaluate DataStates-LLM on models up to 70B parameters on 256 A100-40GB GPUs. Our results demonstrate that DataStates-LLM achieves up to 4$\times$ higher checkpointing throughput and reduces end-to-end training time by up to 2.2$\times$ compared to state-of-the-art solutions, effectively mitigating the serialization and heterogeneity bottlenecks in extreme-scale LLM training.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2601.16956v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LLM을 에이전트로 활용하기: 비용은 얼마인가?
Harnessing LLMs as Agents: What Does It Cost?
언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.
오프로딩된 가중치에서 더 빠른 LLM 디코딩을 위한 가중치 근사 기반 활성화 희소성
Activation Sparsity with Weight Approximation for Faster LLM Decoding on Offloaded Weights
가중치를 모두 담기에 메모리가 부족한 소비자용(consumer-grade) GPU에 LLM을 배포하면 추론 속도가 지나치게 느려질 수 있는데, 이는 디코딩 과정에서 오프로딩된 가중치를 시스템 RAM이나 플래시 스토리지에서 GPU로 반복적으로 전송해야 하며, 이 전송 대역폭이 로컬 GPU 메모리 접근보다 훨씬 낮기 때문이다. 활성화 희소성(activation sparsity)은 0이거나 0에 가까운 활성화(activation)와 연관된 가중치를 건너뜀으로써 이러한 전송을 줄인다. 그러나 더 많은 활성화 기여분을 생략할수록 모델 품질이 결국 급격히 저하되는데, 이는 작은 크기의 활성화와 연관된 가중치들이 전체적으로 모델 품질에 큰 영향을 미친다는 것을 보여준다. 본 연구에서는 활성화 희소성을 활용할 때 모델 품질과 디코딩 성능 간의 trade-off를 개선한다. 핵심 아이디어는 가중치를 읽을지 여부에 대한 이진 선택을, 완전히 유지하거나, 압축된 가중치 표현(compressed weight representation)을 사용해 근사하거나, 완전히 생략하는 세 가지 옵션으로 대체하는 것이다. SpAx는 0에 가장 가까운 활성화와 연관된 가중치를 건너뛰고, 더 작은 크기의 활성화에 대해서는 근사된 가중치를 읽으며, 가장 큰 크기의 활성화에 대해서는 원본 가중치를 읽는다. 더 작은 크기의 활성화는 근사 가중치로 인해 발생하는 오차를 완화시키며, 압축된 가중치 표현은 전송해야 할 바이트 수를 줄인다. 가중치를 CPU 메모리로 오프로딩한 경우, SpAx는 16비트 가중치에서 평균 3.86배(최대 5.57배), 4비트 가중치에서 평균 2.06배(최대 2.74배)의 디코딩 속도 향상을 달성하며, WikiText-2 퍼플렉시티(perplexity) 증가는 최대 10%에 그친다. 가중치를 플래시 스토리지로 오프로딩한 경우, 속도 향상은 평균 3.31배(최대 4.81배) 및 평균 1.54배(최대 2.03배)이다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
시간적 그래프 신경망을 위한 의존성 인식 다중 GPU 학습 프레임워크
A Dependency-Aware Multi-GPU Training Framework for Temporal Graph Neural Networks
시간적 그래프 신경망(TGNN)은 많은 동적 그래프 학습 작업에서 우수한 성능을 달성한다. 이러한 모델은 노드 상태 벡터(즉, 메모리)를 사용하여 그래프 변화(즉, 이벤트)를 포착하고 기록한 뒤, 이 메모리를 활용하여 예측을 돕는다. 그러나 이러한 메모리 중심 설계는 다중 GPU 학습을 어렵게 만드는데, 이는 이후 이벤트에 대한 예측이 종종 이전 이벤트의 메모리 업데이트에 의존하기 때문이다. 모델 품질을 유지하기 위해 기존의 다중 GPU TGNN 학습 기법들은 모든 이벤트 의존성을 엄격하게 보존하는데, 이는 병렬성을 제한하고 비용이 큰 GPU 간 메모리 동기화를 야기한다. 본 연구에서는 이러한 의존성 중 다수를 학습 품질을 저해하지 않으면서도 더 유연하게 처리할 수 있다는 점을 관찰하였다. 구체적으로, (a) TGNN 학습의 의존성은 시간 및 그래프 토폴로지 측면에서 높은 지역성(locality)을 가지며, (b) 큰 배치 내에서 놓치는 단거리 의존성은 대개 저비용으로 복구할 수 있고, (c) 많은 메모리 업데이트는 즉시 필요하지 않다. 이러한 관찰을 바탕으로, 우리는 세 가지 기법을 통해 다중 GPU TGNN 학습을 가속화하는 DepBloom을 제안한다: (1) 불필요한 GPU 간 동기화를 줄이고 병렬성을 향상시키는 시간적으로 제한된 공간 분할(temporally bounded spatial partitioning); (2) 확대된 배치 내에서 놓친 단거리 시간적 의존성을 복구하는 배치 내 메모리 보정(intra-batch memory refinement); (3) 다중 GPU 파이프라인 실행 중 긴급한 메모리 업데이트를 우선 처리하고 비핵심 작업을 지연시키는 critical-path 최적화(critical-path optimization). 대표적인 모델들과 다양한 데이터셋에 대한 실험 결과, DepBloom은 최신 기법(state-of-the-art methods) 대비 평균 2.84배, 최대 5.16배의 속도 향상을 달성하면서도 동등하거나 더 나은 모델 정확도를 유지함을 보여준다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
모든 확장을 유의미하게: LLM 코드 수정에서 효율적인 탐색을 위한 학습
Make Every Expansion Count: Learning to Search Efficiently in LLM Code Repair
대규모 언어 모델(LLM) 코드 수정 시스템은 수정본을 반복적으로 생성하고 테스트하여 결함이 있는 프로그램을 고칩니다. 각 수정본 생성에는 많은 비용이 들기 때문에, 어떤 수정을 시도할지 선택하는 것이 효율성에 매우 중요합니다. 기존의 탐색 정책은 테스트 통과율과 탐색 통계에 의존하며, 테스트 실패 세부 정보와 제안된 편집 내용은 무시합니다. 본 논문에서는 수정된 프로그램이 생성되고 테스트되기 전에 편집의 우선순위를 정하는 학습된 정책인 CodeTriage를 소개합니다. 0.6B 매개변수(parameter) 모델은 테스트 출력, 실패 진단, 제안된 편집을 읽은 후, 해당 편집을 통해 해결에 도달하는 데 필요한 수정 단계 수에 대한 분포를 예측합니다. 이러한 예측은 수정된 코드를 생성하고 테스트하기 전에 프로그램 전반에 걸쳐 보류 중인 모든 편집의 우선순위를 지정합니다. 미공개 수정 작업에서 CodeTriage는 각 지표의 가장 강력한 기준선(baseline)보다 21% 적은 프로그램 수정본과 12% 적은 출력 토큰으로 해결책을 찾아냅니다. 재학습 없이도 11개의 보지 못한 수정 LLM 각각에 대해 탐색 예산 전반에서 가장 높은 평균 성공률을 달성합니다. 절제 연구(ablation study)에 따르면 실패 문맥과 편집 텍스트뿐만 아니라 프로그램 간의 비교도 탐색을 개선하는 것으로 나타났습니다. 또한 제안된 편집 및 테스트 결과와 함께 수정 트리로 구성된 4개 LLM의 1,220만 개 프로그램 버전 말뭉치를 공개합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.