arXiv:2605.24326 cs.DC

ScaleAcross Explorer: Exploring Communication Optimization for Scale-Across AI Model Training

제출 2026-05-23

한국어 초록

대규모 언어 모델(LLM) 학습의 빠른 스케일링은 여러 데이터 센터 건물과 지역에 걸쳐 GPU 자원을 분산해야 합니다. 우리는 이러한 패러다임을 "scale-across" 학습이라고 부릅니다. 인프라가 확장됨에 따라 시스템 설계 공간은 새로운 모델 아키텍처, 하드웨어 이기종성, 그리고 진화하는 통신 패턴을 포함하며 점점 더 복잡해집니다. Meta의 프로덕션 경험을 바탕으로, 우리는 수십만 개의 GPU를 보유한 몇 개의 데이터 센터에 걸쳐 학습 작업을 배포하는 복잡성을 강조합니다. 광범위한 설계 공간의 탐색을 가속화하고 차세대 모델 개발을 위한 효율적인 학습을 가능하게 하기 위해, 우리는 세 가지 핵심 설계 차원에 대한 심층 특성화를 수행합니다: 병렬성 배치(Parallelism Placement), 병렬성 스케줄링(Parallelism Scheduling), 그리고 네트워크 계층 기술. 이후 우리는 설계 차원 간의 상호작용을 고려하고 scale-across 학습을 전체적으로 최적화하는 옵티마이저인 ScaleAcross Explorer를 제안합니다. 테스트베드 실험과 시뮬레이션은 프로덕션 설정 대비 최대 64.62%의 학습 성능 향상을 보여주며, 광범위한 설계 지점에서 최신 기술 수준의 기준선 대비 최대 37.59%의 학습 성능 향상을 달성합니다.

요약

대규모 언어 모델의 지속적인 확장에 따라 단일 데이터센터 건물 내에서 훈련을 진행하는 것이 점점 더 어려워지고 있으며, Meta와 같은 대규모 인프라 운영 기관들은 여러 데이터센터 건물에 걸쳐 수백만 개의 GPU를 배포하는 "scale-across" 훈련 패러다임으로 전환하고 있습니다. 이러한 지리적으로 분산된 훈련 환경은 낮은 대역폭 과다 구독과 높은 네트워크 지연이라는 근본적인 도전 과제를 야기하며, 모델 아키텍처, 하드웨어 이질성, 그리고 진화하는 통신 패턴을 모두 고려해야 하는 복잡한 설계 공간을 형성합니다. 본 논문은 이러한 scale-across 훈련 환경에서 최적의 설정을 찾기 위해 병렬화 배치, 병렬화 스케줄링, 그리고 네트워크 레이어 기술이라는 세 가지 핵심 설계 차원을 심층적으로 분석합니다. 특히 데이터 병렬화와 파이프라인 병렬화 중 어느 것을 외부 계층으로 배치할지의 선택, 혼합 전문가 모델에 대응하는 다양한 병렬화 스케줄링 기법들, 그리고 ECMP 대 패킷 스프레이와 같은 네트워크 라우팅 프로토콜의 영향을 정량적으로 평가합니다. 이 세 차원의 상호작용을 종합적으로 고려하여, 본 논문은 ScaleAcross Explorer라는 새로운 최적화 도구를 제안합니다. 이 도구는 모델 명세와 네트워크 토폴로지를 입력으로 받아 반복 시간을 최소화하는 훈련 설정을 자동으로 탐색하며, 설계 차원 간의 복잡한 트레이드오프를 정량적으로 분석하여 기존 수작업 최적화의 한계를 극복합니다. Meta의 프로덕션 경험과 광학 시스템을 갖춘 구성 가능한 테스트베드를 통해 실증한 결과, ScaleAcross Explorer는 프로덕션 설정 대비 최대 64.62%, 최첨단 기준선 대비 최대 37.59%의 훈련 속도 향상을 달성하였습니다. 본 논문의 기여는 대규모 분산 훈련의 설계 공간을 체계적으로 특성화하고 여러 설계 차원의 상호작용을 고려하는 통합 최적화 프레임워크를 제시함으로써, 향후 규모별로 증가하는 모델 개발 비용을 획기적으로 절감하고 훈련 생산성을 대폭 향상시킬 수 있는 실질적인 방향을 제공합니다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.