지식 증류(KD)는 더 큰 교사 모델의 지도 하에 더 작은 학생 모델을 학습할 수 있게 하며, 널리 사용되는 TRL 라이브러리가 이를 구현한다. 그러나 TRL은 두 모델을 대칭적으로 취급하여, 메모리 사용량과 통신 요구사항에서의 뚜렷한 비대칭성을 활용할 기회를 놓친다. 본 논문은 교사와 학생의 분할을 효율적으로 분리하는 HPC 인식 지식 증류 방법론을 제안한다. 본 접근법은 불필요한 교사 모델 데이터 구조를 제거하고 최적의 분할 전략을 선택함으로써 TRL 대비 초당 처리 샘플 수를 최대 67% 높였다. 모델의 수직 및 수평 분할을 결합하고, 분할 방식 간 변곡점의 존재를 식별하는 분석적 표현식을 도출한다. 이러한 결과는 토폴로지 인식 병렬화를 통해 교사-학생 비대칭성을 활용하는 것이 당사의 프로덕션 HPC 클러스터에서 GKD 학습을 눈에 띄게 가속한다는 것을 보여주었다.
Frontier AI training is increasingly shaped by access to dense, centrally controlled accelerator clusters. This creates a structural advantage for hyperscalers and large centralized laboratories, and makes open or independent AI efforts depend on scarce capital, privileged infrastructure, and data-center geography. We present Spheroid BlockTrain, a decentralized training protocol in which a model is partitioned into independently trainable blocks, each optimized on a local objective derived from the same global target and composed at inference into one model. On byte-level WikiText, BlockTrain reaches cross entropy 1.359 (perplexity 3.89), within about 0.04 CE of a same-setup end-to-end Transformer reference, while each active worker trains only one block and avoids full-model optimizer state. A shared six-worker block training run reaches CE 1.385 by averaging same-block updates into one assembled model. HTTP/TCP transport experiments move real serialized checkpoints and updates, including a public-IP three-host run that improves CE from 5.580 to 1.811 while moving 15.22 GB. For inference, the current BlockTrain path uses one block-stack traversal per full output and serves over direct TCP across three public-network GPU hosts up to a 75.80B-parameter logical fp16 shape, outperforming a matched plain-autoregressive TCP pipeline baseline because it emits a full sequence per WAN pipeline traversal rather than one token per traversal.