arXiv:2510.05186 cs.DC

OptPipe: Memory- and Scheduling-Optimized Pipeline Parallelism for LLM Training

제출 2025-10-06

한국어 초록

파이프라인 병렬 처리(PP)는 대규모 언어 모델(LLM) 학습을 여러 장치에 걸쳐 확장하는 표준 기술이 되었습니다. 그러나 최근 활성화 오프로드를 통해 메모리 소비를 줄이는 데 진전이 있었음에도 불구하고, 기존 접근 방식은 여전히 주로 경험적이며 거칠게 이루어져 있어 메모리, 계산 및 스케줄링 지연 간의 세밀한 균형을 간과하는 경우가 많습니다. 본 연구에서는 원칙적인 최적화 관점에서 파이프라인 스케줄링 문제를 재조명합니다. 우리는 기존 전략이 정적 규칙에 의존하거나 활성화를 공격적으로 오프로드하면서 메모리 제약과 스케줄링 효율 간의 상호작용을 충분히 활용하지 못하고 있음을 관찰했습니다. 이를 해결하기 위해 우리는 메모리 용량, 활성화 재사용 및 파이프라인 버블 최소화를 공동으로 고려하는 제약 최적화 문제로 스케줄링을 공식화합니다. 이 모델을 해결함으로써 우리는 파이프라인 버블을 줄이면서 엄격한 메모리 예산을 준수하는 세밀한 스케줄을 생성합니다. 우리의 접근 방식은 기존 오프로드 기술을 보완합니다. 이전 접근 방식이 고정된 패턴으로 메모리를 시간과 교환하는 반면, 우리는 모델 구조와 하드웨어 구성에 따라 동적으로 균형을 최적화합니다. 실험 결과는 우리의 방법이 일관되게 처리량과 메모리 활용도를 향상시킴을 보여줍니다. 특히, 우리는 동일한 장치당 메모리 한도에서 유휴 파이프라인 시간을 최대 50%까지 줄이고, 경우에 따라 제한된 메모리 예산 내에서 더 큰 모델의 학습을 가능하게 합니다.

요약

대규모 언어 모델(LLM) 훈련에서 파이프라인 병렬성(PP)은 여러 장치에 걸쳐 모델을 효율적으로 확장하는 데 필수적인 기술로 자리 잡고 있습니다. 그러나 기존의 메모리 최적화 기법들은 여전히 경험적이고 비효율적인 접근 방식을 취하고 있어, 메모리 소비를 줄이기 위한 활성화 오프로드 방법이 정적 규칙에 의존하거나 지나치게 공격적인 경향이 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 파이프라인 스케줄링 문제를 제약 최적화 문제로 재정의하고, 메모리 용량, 활성화 재사용, 그리고 파이프라인 버블 최소화를 동시에 고려하는 새로운 방법론인 **OptPipe**를 제안합니다. OptPipe는 기존의 오프로드 기법과는 달리, 모델 구조와 하드웨어 구성에 따라 동적으로 메모리와 시간 간의 거래를 최적화합니다. 이를 통해, 파이프라인 버블을 줄이면서도 엄격한 메모리 예산을 준수하는 미세한 스케줄을 생성할 수 있습니다. 본 연구의 핵심 기여는 이러한 최적화 접근 방식을 통해 처리량과 메모리 활용도를 일관되게 개선할 수 있다는 점입니다. 실험 결과에 따르면, OptPipe는 동일한 장치당 메모리 한도에서 유휴 파이프라인 시간을 최대 50%까지 줄일 수 있으며, 제한된 메모리 예산 내에서 더 큰 모델의 훈련을 가능하게 합니다. 이 연구는 대규모 언어 모델 훈련의 효율성을 높이는 데 기여할 수 있는 중요한 기초 자료를 제공하며, 향후 연구의 방향성을 제시합니다. OptPipe의 제안된 방법론은 메모리와 스케줄링 간의 미세한 균형을 고려하여, 기존의 한계를 극복하는 혁신적인 접근 방식으로 평가받을 수 있습니다. 이러한 기여는 LLM 훈련의 최적화를 위한 새로운 기준을 설정할 것으로 기대됩니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.