TeleChat에서 Xing 4까지: 자체 칩과 프레임워크 기반의 최첨단 에이전트 모델 개발
TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks
한국어 초록
Ascend에서 모델 아키텍처와 학습 인프라를 함께 개선해 TeleChat 계열을 확장한 대규모 언어 모델 시리즈 Xing 4를 소개한다. 아키텍처 선정부터 대규모 사전학습, 추론 및 에이전트 기능을 위한 사후 학습까지 시리즈를 뒷받침하는 설계 원칙과 시스템 공학을 설명한다. 희소 활성화, 어텐션 설계, 모델의 깊이와 너비, 추측 디코딩이 모델 용량과 연산 비용, 메모리 접근 비용, 실행 오버헤드 사이의 균형에 미치는 영향을 연구한다. 사전학습 인프라는 MindSpore HyperParallel을 기반으로 토폴로지를 고려한 하이브리드 샤딩, 효율적인 분산 옵티마이저 실행, 긴 시퀀스 워크로드와 활성화 메모리의 통합 관리를 결합한다. CPU 친화도 설정과 코어 격리로 호스트 스케줄링 간섭을 추가로 줄인다. 이러한 기법으로 Ascend 910C 카드 8,192개에서 매개변수 2,850억 개의 모델을 사전학습했으며, 이를 아키텍처와 시스템 연구의 구체적인 사례로 삼았다. 사후 학습에는 에이전트 실행, 평가, 궤적 구성을 정책 최적화와 연결하는 통합 에이전트 실행 플랫폼 TeleGym을 도입했다. 분리형 비동기 실행, 상한을 둔 초과 샘플링, 부분 롤아웃을 통해 과제마다 실행 시간이 달라도 정책 업데이트를 가로질러 궤적의 연속성을 유지한다. 이러한 개선을 통해 다양한 크기의 Xing 4 모델과 갈수록 요구 수준이 높아지는 추론 및 에이전트 작업을 개발할 Ascend 기반 학습 환경을 마련했다.
원문 초록
We present Xing 4, a series of large language models that extends the TeleChat lineage through coordinated advances in model architecture and training infrastructure on Ascend. This report describes the design principles and systems engineering behind the series, spanning architecture selection, large-scale pretraining, and reasoning and agentic post-training. We study how sparse activation, attention design, model depth and width, and speculative decoding balance model capacity with computation, memory access, and execution overhead. Our pretraining infrastructure builds on MindSpore HyperParallel, combining topology-aware hybrid sharding, efficient distributed optimizer execution, and coordinated management of long-sequence workloads and activation memory. CPU affinity and core isolation further reduce host scheduling interference. Together, these mechanisms support the pretraining of a 285B-parameter model on 8,192 Ascend 910C cards, providing a concrete setting for the architectural and systems studies. For post-training, we introduce TeleGym, a unified agent execution platform that connects execution, evaluation, and trajectory construction to policy optimization. Disaggregated asynchronous execution, bounded oversampling, and partial rollout accommodate heterogeneous task durations while preserving trajectory continuity across policy updates. Together, these advances establish an Ascend-oriented training foundation for the continued development of Xing 4 across model scales and increasingly demanding reasoning and agent workloads.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22115v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.