arXiv:2511.17127 cs.CL

Training Foundation Models on a Full-Stack AMD Platform: Compute, Networking, and System Design

제출 2025-11-21

한국어 초록

우리는 순수 AMD 하드웨어에서 MI300X GPU와 Pollara 상호 연결을 활용한 첫 번째 대규모 전문가 혼합(MoE) 사전학습 연구를 보고합니다. 우리는 시스템 및 모델 설계에 대한 실용적인 지침을 정리합니다. 시스템 측면에서는 Pollara에서 메시지 크기 및 GPU 수에 따른 모든 핵심 집합(모두 줄이기, 줄이기-산포, 모두 모으기, 브로드캐스트)에 대한 마이크로 벤치마크를 포함한 포괄적인 클러스터 및 네트워킹 특성을 제공합니다. 우리가 아는 한, 이는 이 규모에서 최초입니다. 또한 모델 설계를 위한 커널 크기 및 메모리 대역폭에 대한 MI300X 마이크로 벤치마크를 제공합니다. 모델링 측면에서는 어텐션 및 MLP 블록에 대한 MI300X 인식 트랜스포머 크기 규칙을 도입하고 적용하며, 학습 처리량과 추론 대기 시간을 공동으로 최적화하는 MoE 폭을 정당화합니다. 우리는 종종 간과되는 유틸리티인 내결함성 및 체크포인트 재구성 등과 함께 우리의 학습 스택에 대해 깊이 설명하며, 학습 레시피에 대한 자세한 정보도 제공합니다. 또한, 향후 논문에서 더욱 개선될 우리의 모델 아키텍처와 기본 모델인 ZAYA1(활성 파라미터 760M, 총 파라미터 8.3B MoE)의 미리보기를 제공합니다. ZAYA1-base는 Qwen3-4B 및 Gemma3-12B와 같은 주요 기본 모델과 비교할 수 있는 성능을 달성하며, Llama-3-8B 및 OLMoE를 포함한 모델들보다 추론, 수학 및 코딩 벤치마크에서 우수한 성능을 보입니다. 이러한 결과는 AMD 하드웨어, 네트워크 및 소프트웨어 스택이 경쟁력 있는 대규모 사전학습을 위해 성숙하고 최적화되었음을 보여줍니다.

요약

ZAYA1-base 모델의 성능은 고성능 컴퓨팅 클러스터의 처리량과 이를 지원하는 소프트웨어 스택에 크게 의존한다. 본 연구에서는 AMD MI300X GPU와 Pollara 네트워킹을 활용하여 대규모 혼합 전문가(Mixture-of-Experts, MoE) 모델의 사전학습을 위한 엔드 투 엔드 시스템을 구축하고, 이를 통해 발생하는 다양한 운영적 도전 과제를 문서화하였다. 특히, 시스템 측면에서는 모든 핵심 집합 통신 작업에 대한 마이크로 벤치마크를 제공하고, MI300X의 메모리 대역폭과 커널 크기 조정에 대한 실용적인 지침을 제시하였다. 모델 설계 측면에서는 MI300X에 최적화된 트랜스포머 크기 조정 규칙을 도입하고, 훈련 처리량과 추론 지연을 동시에 최적화하는 MoE 폭을 정당화하였다. ZAYA1 모델은 CCA(Compressed Convolutional Attention), ZAYA1 라우터, 잔여 스케일링과 같은 혁신적인 아키텍처 요소를 포함하여, 기존 MoE 아키텍처에 비해 성능을 크게 향상시켰다. 훈련 과정에서는 Muon 옵티마이저를 사용하여 효율적인 그래디언트 업데이트를 수행하고, 데이터 병렬성만으로 훈련을 진행하여 복잡한 병렬화 전략 없이도 높은 성능을 달성하였다. 이 연구는 AMD 하드웨어와 소프트웨어 스택이 대규모 사전학습에 충분히 성숙하고 최적화되어 있음을 보여주며, ZAYA1-base 모델은 Qwen3-4B 및 Llama3-8B와 같은 기존 모델들과 비교해도 경쟁력 있는 성능을 나타낸다. 이러한 결과는 향후 AMD 기반의 대규모 언어 모델 개발에 있어 중요한 기초 자료가 될 것이다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.