3D Gaussian Splatting(3DGS)은 고충실도(high-fidelity) 및 실시간 3D 장면 재구성을 가능하게 하지만, 대규모 장면으로 학습(training)을 확장하려면 여러 GPU에 걸쳐 수억 개의 가우시안(Gaussian)을 최적화해야 합니다. 기존의 분산 접근 방식은 장면을 격리된 영역으로 분할하여 전역적 불일치(global inconsistency)를 유발하거나, 전역적 가우시안 수준 교환에 의존하여 GPU 간 통신이 급격히 증가하고 반복(iteration) 시간을 빠르게 지배하게 만듭니다. 우리는 픽셀 수준의 로컬 렌더링(local rendering)과 전역 합성(global composition)에 기반한 통신 효율적인 분산 3DGS 학습 프레임워크인 Splaxel을 제안합니다. 가우시안을 동기화하는 대신, 각 GPU는 로컬 부분 집합을 렌더링하고 부분적인 픽셀 값만 교환하며, 이는 장면 크기가 증가해도 통신 비용을 안정적으로 유지하면서 수학적 일관성을 유지합니다. Splaxel은 기하학적 및 투과율 가시성 예측(visibility prediction)을 통해 픽셀 수준의 중복성을 추가로 줄이고, 충돌 없는 카메라 뷰 통합(consolidation)을 통해 GPU 활용도를 향상시킵니다. 최대 1억 2천만 개의 가우시안이 포함된 대규모 데이터셋에서 평가한 결과, Splaxel은 높은 재구성 품질을 유지하면서 최첨단(state-of-the-art) 분산 3DGS 프레임워크 대비 최대 7.6배의 속도 향상을 달성했습니다.
시간적 그래프 신경망(TGNN)은 많은 동적 그래프 학습 작업에서 우수한 성능을 달성한다. 이러한 모델은 노드 상태 벡터(즉, 메모리)를 사용하여 그래프 변화(즉, 이벤트)를 포착하고 기록한 뒤, 이 메모리를 활용하여 예측을 돕는다. 그러나 이러한 메모리 중심 설계는 다중 GPU 학습을 어렵게 만드는데, 이는 이후 이벤트에 대한 예측이 종종 이전 이벤트의 메모리 업데이트에 의존하기 때문이다. 모델 품질을 유지하기 위해 기존의 다중 GPU TGNN 학습 기법들은 모든 이벤트 의존성을 엄격하게 보존하는데, 이는 병렬성을 제한하고 비용이 큰 GPU 간 메모리 동기화를 야기한다.
본 연구에서는 이러한 의존성 중 다수를 학습 품질을 저해하지 않으면서도 더 유연하게 처리할 수 있다는 점을 관찰하였다. 구체적으로, (a) TGNN 학습의 의존성은 시간 및 그래프 토폴로지 측면에서 높은 지역성(locality)을 가지며, (b) 큰 배치 내에서 놓치는 단거리 의존성은 대개 저비용으로 복구할 수 있고, (c) 많은 메모리 업데이트는 즉시 필요하지 않다. 이러한 관찰을 바탕으로, 우리는 세 가지 기법을 통해 다중 GPU TGNN 학습을 가속화하는 DepBloom을 제안한다: (1) 불필요한 GPU 간 동기화를 줄이고 병렬성을 향상시키는 시간적으로 제한된 공간 분할(temporally bounded spatial partitioning); (2) 확대된 배치 내에서 놓친 단거리 시간적 의존성을 복구하는 배치 내 메모리 보정(intra-batch memory refinement); (3) 다중 GPU 파이프라인 실행 중 긴급한 메모리 업데이트를 우선 처리하고 비핵심 작업을 지연시키는 critical-path 최적화(critical-path optimization). 대표적인 모델들과 다양한 데이터셋에 대한 실험 결과, DepBloom은 최신 기법(state-of-the-art methods) 대비 평균 2.84배, 최대 5.16배의 속도 향상을 달성하면서도 동등하거나 더 나은 모델 정확도를 유지함을 보여준다.
언어 모델 사전학습에는 막대한 양의 연산량이 소모되며, 적절한 옵티마이저를 사용하면 이를 상당 부분 절감할 수 있습니다. Muon의 스펙트럼 스텝은 부호(sign) 스텝보다 더 강력한 방향을 제공하지만 연산 비용이 큽니다. 매 스텝마다 전체 행렬에 대해 뉴턴-슐츠 반복(Newton-Schulz iterations)을 수행하며, 분산 학습 환경에서는 추가적인 올리듀스(all-reduce)가 발생합니다. 반면 Lion 및 Signum과 같은 부호 스텝은 비용이 저렴하며 각 디바이스에 국소적으로 유지됩니다. 본 논문에서는 $P$ 반복마다 한 번의 Muon 스텝을 수행하고 그 사이에는 Lion 스텝을 수행하며, 두 방식이 단일 듀얼 EMA 모멘텀 버퍼를 공유하는 LionMuon을 제안합니다. Muon의 연산 및 통신 비용은 $P$ 스텝마다 한 번만 발생하며, 옵티마이저 상태 메모리는 AdamW의 절반 수준입니다. 단일 EMA 변형인 SignMuon만으로도 이미 Muon 대비 성능 향상을 보입니다. 저자들은 주기 $P$가 Muon과 Lion의 매끄러움(smoothness) 및 노이즈 상수를 보간하며 LionMuon이 두 방법보다 더 빠른 조건을 제시하는 꼬리가 두꺼운 노이즈(heavy-tailed noise) 환경에서의 복잡도 한계를 증명합니다. FineWeb으로 학습된 124M 및 355M 모델에서 $P=2$ 및 $P=5$인 LionMuon은 동일한 토큰 수에서 Muon, AdamW, Lion, Signum보다 더 낮은 손실을 달성합니다. 4개 GPU 데이터 병렬 학습 환경의 PCIe 상에서 LionMuon은 Muon의 최종 손실에 도달하면서도 소요 시간(wall-clock)을 3분의 1 줄였으며, 정확한 그래디언트를 유지하면서도 노출되는 통신량 증가 없이 통신 효율적인 Muon 변형인 Dion 및 MuonBP보다 더 우수한 손실 성능을 보입니다. 코드: https://github.com/brain-lab-research/lion-muon
분산 강화학습(RL)은 경험 버퍼(Experience Buffer)를 중심으로 액터(actor)와 러너(learner)를 병렬화하여 학습(training)을 확장합니다. 그러나 강화학습 워크로드가 증가함에 따라 버퍼는 단순한 리플레이 큐를 넘어섭니다. 즉, 러너 업데이트를 시작하기 전에 경험을 이동, 변환, 샘플링 및 배치(batch) 처리하기 위해 매 반복(iteration)마다 거쳐야 하는 대용량 및 지연시간에 민감한 경험 경로의 스토리지 기저 역할을 하게 됩니다. 기존 강화학습 시스템은 이러한 경로를 프레임워크 제어 흐름 내부에 내장하거나 요청 기반 버퍼 서비스 형태로 노출하므로, 경험 배치가 고정되고 경험 경로 작업을 런타임 수준의 최적화 대상으로 독립적으로 스케줄링하기 어렵습니다. 본 논문에서는 강화학습 경험 관리를 명시적인 시스템 최적화 문제로 드러내는 프레임워크 비종속적 런타임인 Conduit을 제안합니다. Conduit의 핵심은 경험 수집, 경험 배치, 경험 전달을 명시적인 제어 지점으로 노출함으로써 강화학습 경험 처리 의미론을 프레임워크별 실행 로직과 분리하는 런타임 추상화인 경험 데이터 플레인(EDP)입니다. EDP를 기반으로 구축된 Conduit은 이기종 인터커넥트 및 디바이스 메모리 제약 하에서 CPU/GPU 메모리 계층 및 노드 전반에 경험 상태를 분산시키는 용량 제약 및 대역폭 인지 배치와, 강화학습 의미론을 유지하면서 노출되는 경험 경로 지연시간을 줄이기 위해 경험 경로 처리가 실행되는 시점을 제어하는 지연시간 인지 스케줄링을 도입합니다. RLlib의 프레임워크 실행 로직을 변경하지 않고 통합된 Conduit은 노출된 경험 경로 지연시간을 최대 97%, 엔드투엔드 반복 지연시간을 최대 38% 줄이고, 1,024개의 GPU까지 확장되며, 수렴(convergence)을 보존합니다.
대규모 기계학습에서 분산 학습은 일반적으로 여러 워커(worker)가 서로 다른 데이터셋 파티션에서 모델의 그래디언트를 계산하는 방식으로 이루어진다. 흔한 과제는 지연 워커(straggling worker)의 존재이며, 이는 학습을 크게 느리게 할 수 있다. 전통적인 그래디언트 코딩(gradient coding, GC)은 워커 간에 데이터셋 파티션을 복제하여 지연 워커로부터 누락된 그래디언트를 대체할 수 있게 함으로써 이 문제를 해결한다. 그러나 GC는 각 스텝마다 워커가 여러 데이터셋 파티션에서 그래디언트를 계산해야 하므로, 전체 학습 시간이 증가할 수 있다. 본 논문에서는 GC를 파이프라인화하여, 그래디언트 계산을 여러 스텝에 걸쳐 분할하고 각 워커가 스텝당 단 하나의 데이터셋 파티션에서만 그래디언트를 계산하도록 제안한다. 우리는 GC에서 두 가지 대표적인 데이터셋 배치 방식인 fractional repetition(FR)과 cyclic repetition(CR)에 대한 파이프라인 버전을 개발하고, 둘 모두에 대한 수렴 보장을 증명한다. 광범위한 시뮬레이션과 클라우드 인프라에서의 실험을 통해, 제안 방식은 GC 및 다른 베이스라인(baseline)과 비교하여 학습 시간을 크게 줄일 뿐만 아니라 수렴도 가속한다.
통신 효율적인 분산 학습 알고리즘(예: DiLoCo)은 데이터센터 간 및 인터넷을 넘는 등 대역폭이 제한된 환경에서 대규모 언어 모델(LLM) 학습에 이점이 있어 상당한 관심을 받아왔다. 이러한 로컬 업데이트 방법은 동기화 감소를 통해 통신을 줄이지만, 여전히 모델 크기만 한 밀집 pseudo-gradient를 통신해야 하므로 데이터센터 간 링크에서도 통신 병목이 발생한다. pseudo-gradient의 크기를 줄이기 위해 양자화가 흔히 적용되지만, LLM 사전학습 맥락에서는 기존 접근법들이 상당한 성능 저하 없이 희소화(sparsification)를 활용하지 못했다. 본 연구에서는 SparseLoCo를 제안한다. 이는 LLM을 위한 통신 효율적 학습 알고리즘으로, Top-k sparsification과 2-bit 양자화를 효과적으로 활용하여 통신되는 pseudo-gradient에서 97-99%에 달하는 극단적 희소성을 달성하면서 밀집 DiLoCo보다 더 낮은 최종 손실을 달성한다. 언어 모델 사전학습에 대한 실증 연구에서, SparseLoCo의 DiLoCo 대비 성능 및 pseudo-gradient 압축 측면의 개선이 밀집 모델 규모(178M-2B), 전문가 혼합(MoE) 트랜스포머(645M-A273M), 워커 수 증가, 통신 간격 증가 등 다양한 조건에서 유지됨을 보인다.
수십억에서 수조 매개변수 규모의 대규모 언어 모델(LLM) 학습은 데이터센터에 국한되며, 여기서 데이터 병렬(DP) 및 모델 병렬(MP) 기법은 동종 가속기, 고속 상호 연결, 단일 조율 주체를 전제로 한다. 이로 인해 프론티어 모델 개발은 그러한 클러스터를 구축할 수 있는 소수 그룹에 집중된다. 한편, 학습에 활용되지 못하는 막대한 연산 자원이 존재한다: 이종(preemptible)이고 선점 가능하며 개별 소유이고 인터넷으로만 연결된 소비자 및 전문가용 GPU들이다.
Agora를 제안한다. 이는 해당 연산을 효율적으로 활용하는 시스템이다. Agora는 인터넷급 링크를 통한 대역폭 효율적 파이프라인 병렬 모델 샤딩과 다자간·내결함성 집합 통신 연산을 결합한다. 각 참여자는 모델의 한 단계(stage)만 보유하며, 어떤 단일 주체도 전체 가중치를 소유하지 않는다. 이 구성을 Protocol Learning이라 부른다: 집단적으로 학습되고 집단적으로 소유되는 모델을 가능하게 하며, 경제적 지속 가능성을 갖춘 오픈소스 프론티어 학습으로 가는 길을 연다.
이 보고서는 통신 효율적 병렬 처리, 비동기 최적화, 내결함성 시스템 설계에 걸친 연구 노력의 결과를 제시한다. 그 정점은 유형상 최초의 실증이다: Pluralis-8B—FineWeb-Edu의 500B 토큰으로 86억(8.6B) 매개변수 모델을 오픈·무허가 방식으로 사전학습한 실행(run)이다. 이 모델은 40일에 걸쳐 330개 기여자 노드—주로 인터넷 연결上的 소비자 GPU—가 수시로 참여하고 이탈하며 학습되었다. 해당 실행은 ~170k tokens/s와 풀링된 연산당 TFLOP당 4.2 토큰을 유지했으며, 중앙집중식 H100 기준선 대비 효율의 63%를 달성했고, 중앙집중식 기준(reference) 실행과 작은 마진 내에서 수렴했다.
임베딩 테이블과 LM-head의 그래디언트 기하학이 일반 밀집 가중치와 다르다는 점에 착안하여, Fisher 정보 행렬을 기반으로 $\mathcal{O}(V+D)$ VRAM만 사용하는 경량 최적화기 Ember를 제안한다. Ember는 Adam 대비 메모리를 대폭 절감하면서도 지도 파인튜닝, 강화학습, 사전학습 전반에서 동등하거나 더 나은 성능을 달성하며, 토큰의 최적화 궤적이 1D 직선으로 근사될 수 있음을 실증적으로 보인다.
PHOENIX는 대규모 LLM 학습 중 발생하는 노드 장애를 전체 작업 재시작 없이 예비 노드로 교체하는 핫 스와핑(hot-swapping) 방식으로 해결하며, 매 스텝마다 인메모리 체크포인트를 연산과 중첩하여 오버헤드 없이 수행한다. 512개의 NVIDIA A100 GPU와 최대 65B 파라미터 모델 규모에서 체크포인트 오버헤드 제로, 복구 시간 40초 이내를 동시에 달성하였다.
독립적으로 파인튜닝된 모델들을 하나로 집계하여 각각의 능력을 결합하는 모델 병합 기법은 최근 몇 년간 큰 관심을 받아온 주제로, 이 문제를 해결하기 위한 다양한 방법들이 제안되어 왔다. 동시에, 분산 학습의 새로운 흐름으로서 로컬 SGD와 DiLoCo 같은 방법들이 활용되고 있으며, 이 방법들은 주기적으로 독립 학습된 로컬 모델들을 집계함으로써 통신 비용을 크게 줄인다. 그러나 이러한 통신 효율적 방법들은 독립적인 로컬 모델의 수가 증가하고 전역 통신 전 로컬 학습 스텝 수가 늘어남에 따라 FLOP 매칭 데이터 병렬 표준 대비 성능이 저하되는 것으로 나타났다. 본 연구에서는 로컬 SGD/DiLoCo의 의사 그래디언트(pseudo-gradient) 집계 단계와 태스크 산술(task arithmetic) 기반 모델 병합 간의 명시적인 유사성을 도출하여, 분산 최적화 맥락에서 병합 방법을 활용하는 직관적인 방법을 확립한다. 이후 이 설정에서 여러 최신 모델 병합 방법들을 평가하고, 그 중 Iso-C를 DiLoCo 개선을 위한 유망한 접근법으로 식별한다. Iso-C 집계를 적용한 DiLoCo SGD는 단순 의사 그래디언트 평균화뿐만 아니라 모멘텀 기반 DiLoCo조차 능가하는 것으로 나타났으며, 이는 Iso-C 자체에 모멘텀 메커니즘이 없음에도 불구하고 달성된 결과이다. 이 발견을 바탕으로 우리는 네스테로프 모멘텀(Nesterov momentum)을 적용하여 Iso-C를 분산 학습에 적합하게 개선한 IsoLoCo를 제안한다. 다양한 수의 로컬 워커를 사용한 언어 모델 사전학습에 대한 실증 평가에서 IsoLoCo는 DiLoCo를 크게 능가하며, 워커 수가 증가할수록 그 격차가 더욱 벌어지는 것으로 나타났다. 이러한 우위는 모델 크기와 내부 스텝 수 전반에 걸쳐 유지되어, 병합에서 영감을 받은 집계가 저통신 분산 학습을 위한 효과적인 전략임을 확인해 준다.
DiLoCo 방식의 학습은 학습자 아일랜드(learner island)들이 간헐적인 외부 동기화(outer synchronization) 이전에 로컬로 학습하도록 허용함으로써 통신량을 줄이며, 학습이 지연 민감 서빙과 하드웨어를 공유하는 분산된 산업용 AI 플리트(fleet)에 매력적인 방식이다. 이러한 플리트에서의 핵심 질문은 외부 병합(outer merge)이 시스템 비용을 감수할 가치가 있는 시점이 언제인지, 그리고 어떤 윈도우를 지연할지 선택하는 것이 실제로 중요한지에 관한 것이다. 기존 스케줄링 연구들은 워크로드 인식 정책을 고정 주기 기준선과 비교하여 평가하지만, 대부분 타이밍을 예산과 분리하는 제어 조건, 즉 컨트롤러의 동기화 예산은 그대로 따르되 그 자체로는 배포 불가능한 매칭된 무작위 지연(matched random deferral)을 생략한다. 이 생략은 중요한 결과를 초래한다: 제어된 스트레스 테스트와 실제 vLLM 사이드카(sidecar) 재현(replay) 전반에서 매칭된 무작위는 우리가 테스트한 모든 예측 기반 없는 정책과 동률이거나 이를 능가하므로, 더 약한 기준선 대비 보고된 성능 향상을 윈도우 선택에 귀인할 수 없다. 우리는 이 공백을 워크로드 인식 DiLoCo(WA-DiLoCo)로 채운다. WA-DiLoCo는 학습자의 진행 상황과 플리트 압력을 균형 있게 고려하는 점수 기반 컨트롤러와, 매칭된 무작위를 능가할 수 있는 조건을 파악한 뒤 실제로 이를 달성해 보이는 보정 프로토콜(calibration protocol)로 구성된다. 보정을 통해 요청 중복 구조가 드러나는 버스트(bursty) 레짐에서, 온라인 컨트롤러에 1단계 EWMA 버스트 예측을 추가하면 실제 vLLM 사이드카 재현에서 매칭된 무작위를 능가하여 SLO 위반율을 6.54%에서 5.09%로 줄인다(10개 시드 중 8개, $p=0.021$). 배포 불가능한 상한선인 오프라인 Calibrated-WA는 6.26% 대비 4.45%의 잔여 여유를 보여준다. 배포 가능한 교훈은 여전히 프로토콜에 있다: 서빙 SLO 개선을 주장하기 전에 실제 사이드카 효과 크기 이전(effect-size transfer), 비동기화 부하 매칭(no-sync load match), 그리고 매칭된 무작위 포락선(matched-random envelope)을 반드시 보고해야 한다.
AdamS 옵티마이저의 1차 모멘트(first-moment) 안정성을 활용해 99% 희소성(sparsity)에서도 모델 품질 손실 없이 통신량을 극단적으로 줄이는 분산 옵티마이저 SCAPE를 제안한다. Megatron-LM에서 구현하여 32개의 NVIDIA GH200 GPU로 Llama-500M 사전학습 시 종단간 학습 시간을 최대 43.3% 단축하고, Llama-1.8B에서는 단계당 최대 3.26배 속도 향상을 달성하면서 LAMBADA, MMLU 등 다운스트림 벤치마크에서 dense AdamW 수준의 성능을 유지했다.
To maximize hardware utilization, modern machine learning systems typically employ large constant or manually tuned batch size schedules, relying on heuristics that are brittle and costly to tune. Existing adaptive strategies based on gradient noise scale (GNS) offer a principled alternative. However, their assumption of SGD's Euclidean geometry creates a fundamental mismatch with popular optimizers based on generalized norms, such as signSGD / Signum ($\ell_\infty$) and stochastic spectral descent (specSGD) / Muon ($\mathcal{S}_\infty$). In this work, we derive gradient noise scales for signSGD and specSGD that naturally emerge from the geometry of their respective dual norms. To practically estimate these non-Euclidean metrics, we propose an efficient variance estimation procedure that leverages the local mini-batch gradients on different ranks in distributed data-parallel systems. Our experiments demonstrate that adaptive batch size strategies using non-Euclidean GNS enable us to match the validation loss of constant-batch baselines while reducing training steps by up to 66\% for Signum and Muon on a 160 million parameter Llama model.
하이브리드 컨텍스트 패킹 시퀀스에서 기존 시퀀스 병렬처리(SP)의 교차 오염 어텐션 문제를 해결하기 위해, JIT 컴파일 기반의 시퀀스 인식 병렬처리(SAP) 알고리즘과 이를 통합한 계층적 시퀀스 인식 병렬처리(HSAP) 프레임워크를 제안한다. HSAP는 InterSP와 IntraSP의 장점을 결합하여 512K 이상의 시퀀스 길이까지 확장 가능하며, 실제 하이브리드 컨텍스트 데이터셋 학습에서 최신 SP 방법 대비 TGS(tokens per GPU second) 기준 최고 효율을 달성했다.
대규모 트랜스포머 기반 모델, 특히 수조 개의 매개변수 규모로 확장되는 대규모 언어 모델(LLM)의 급속한 성장으로, 데이터·텐서·파이프라인 병렬화와 같은 복잡한 하이브리드 병렬화 전략을 사용해 수천 개의 GPU에서 학습하는 것이 필요해졌다. 이러한 거대한 분산 상태의 체크포인팅은 복원력(resilience), 일시 중단-재개(suspend-resume), 바람직하지 않은 학습 궤적 조사, 모델 진화 설명 등 다양한 사용 사례에 필수적이다. 그러나 기존 체크포인팅 솔루션은 일반적으로 모델 상태를 불투명한 이진 blob으로 취급하여, 기본 데이터 구조의 「3D 이질성」—메모리 위치(GPU vs. Host), 여러 파일에 샤딩되고 분할된 「논리적」 객체 수, 데이터 유형(텐서 vs. Python 객체), 직렬화 요구사항에 따라 달라지는 특성—을 무시한다. 이로 인해 차단형 device-to-host 전송, 데이터 무시형 직렬화, 저장소 I/O 경합으로 인한 상당한 런타임 오버헤드가 발생한다. 본 논문에서는 State Provider를 활용해 상태 추상화와 데이터 이동을 분리하는 새로운 체크포인팅 아키텍처인 DataStates-LLM을 제안한다. DataStates-LLM은 순전파 및 역전파 동안 모델 매개변수의 불변성을 이용해 「lazy」한 비차단 비동기 스냅샷을 수행한다. State Provider를 도입함으로써 파편화되고 이질적인 샤드를 효율적으로 병합하고, 메타데이터 직렬화를 대량 텐서 I/O와 중첩(overlap)한다. 우리는 256개의 A100-40GB GPU에서 최대 700억 매개변수 모델에 대해 DataStates-LLM을 평가했다. 결과는 DataStates-LLM이 최신 솔루션 대비 체크포인팅 처리량을 최대 4× 높이고 종단간 학습 시간을 최대 2.2× 줄였음을 보여주며, 극대규모 LLM 학습에서 직렬화 및 이질성 병목을 효과적으로 완화한다.
LayUp은 역전파 중 점진적 층별 업데이트를 비동기적으로 교환하고 무작위 gossip 통신으로 버퍼 없이 갱신을 적용하는 비동기 분산 SGD 방법으로, 매개변수 drift를 줄여 지연 작업자(straggler)에 강건하다. 비전·언어 모델링 실험에서 동기식 데이터 병렬 학습 대비 실 경과 시간 기준 수렴이 최대 약 32% 빠르고, 유사한 통신 효율 알고리즘 대비 최대 약 27% 빠르며 정확도를 유지한다.
고대역폭 데이터센터 밖에서도 대규모 분산 학습을 실용적으로 만들려면, 블로킹되고 대용량인 동기화를 줄여야 한다. DiLoCo는 통신 빈도가 낮지만, 외부 동기화는 여전히 대역폭을 많이 소모하며 느린 작업자(straggler)와 일시적 장애에 취약하다. 우리는 mixing/gossip을 통해 정확한 동기화를 근사 동기화로 완화하며, 이는 지연과 통신 장애 하에서도 점진적으로 성능이 저하된다. 이를 통해 DiLoCo 동기화를 staleness 없이 계산과 겹치는 논블로킹(non-blocking) mixing 단계와, 작업자(worker) 간 합의를 강화하는 블로킹 mixing 단계로 인수분해할 수 있으며, 연산 활용률과 최적화 안정성 사이의 조절 가능한 트레이드오프를 얻을 수 있다. 저대역폭 환경에서 최대 10억 매개변수 규모의 언어 모델에 대해, 본 프레임워크는 DiLoCo 대비 연산 활용률을 크게 개선하며, 학습 진행은 DiLoCo와 비슷한 수준에서 거의 동등한 수준까지 이르며, 장애에 더 강건하다.
최신 LLM 학습은 오프라인 배치 샘플러의 핵심 가정을 깹니다: 샘플의 실제 학습 비용은 전처리, 증강, 템플릿 적용, 토큰화, 멀티모달 비주얼 토큰 확장 후에만 관찰 가능합니다. 전처리 및 증강 의존적 길이 캐시에 비용을 지불하지 않는 한, 배치 구성은 패딩, 메모리 사용량, GPU 포화도를 결정하는 양에 대해 맹목적입니다. 우리는 정확한 관찰 가능성 시점으로 배치 형성을 이동시키면서 DDP 스텝 정렬을 보존하는, 데이터로더 측의 드롭인 시스템인 온라인 동적 배치(ODB)를 소개합니다. 우리는 이 동기화 요구사항을 분산 그룹 정렬 문제(Distributed Group Alignment Problem)로 공식화하고, 기본 조인 모드 아이덴티티 커버리지와 선택적 비조인 샘플 할당량 폐쇄를 통해 교착 상태 없는 유한 종료를 증명합니다. ODB는 모델, 옵티마이저 또는 어텐션 커널 변경을 요구하지 않으며, 가벼운 트레이너 어댑터와 함께 online-dynamic-batching으로 공개되었습니다. UltraChat/LLaVA/ShareGPT4o에서의 공개 2B/8B Qwen3-VL 실행 전반에서, ODB는 고정 배치 Standard 대비 단일 노드 Full FT/LoRA에서 1.58-2.51배, 2노드 Full FT에서 1.71-3.78배 향상된 실제 발행 샘플 처리량을 보이며, Standard와 유사한 품질을 유지합니다. 프로덕션 MM-Mix는 4.43배에 달합니다. GMT/BMT 오프라인 토큰 예산 오라클과 비교했을 때, ODB는 UltraChat/LLaVA에서 15% 이내의 성능을 보이며 높은 변동성(CV)을 가진 ShareGPT4o에서는 더 빠릅니다: 단일 노드 Full FT/LoRA에서 2.24-2.39배, 2노드 Full FT에서 3.06-3.69배입니다. 종합적으로, ODB는 높은 이질성을 가진 LLM 미세조정을 위한 온라인/드롭인 영역을 차지합니다: Standard와 유사한 품질로 큰 처리량 향상, 형식적 DGAP 보증, 그리고 길이 캐시 사전 계산이나 커널 재작성이 필요 없습니다.
DiLoCo·Photon처럼 사이트마다 전체 MoE 복제본을 유지하는 분산 사전학습의 메모리·통신 병목을 FoMoE가 워커 간 전문가 레이어 분할과 부분 복제로 완화한다. 부분 전문가 복제와 skip-token으로 효율적 기준선 대비 통신 비용을 최대 1.42배, DDP 대비 45.44배 줄이고 처리량을 최대 1.4배 높였으며, 학습된 프록시 설정에서 안정적인 라우팅을 보였다.
Diffusion Transformer(DiT)의 강화학습(RL) 사후학습은 수천 개의 고성능 GPU가 필요하여 비용이 막대합니다. 기존 연구는 비용 절감을 위해 두 가지 방향을 탐색했습니다. 시드 탐험(seed exploration)은 대비가 높은 샘플을 선택하여 학습 수렴을 개선하지만, 핵심 경로에 연산 부하를 추가합니다. 스팟 GPU(spot GPU)는 69~77% 더 낮은 비용을 제공하지만, DiT 롤아웃(rollout)이 거의 동시에 완료되어 학습 중 유휴 상태로 남게 되며, 이는 학습과 롤아웃의 LLM 스타일 파이프라이닝을 방해합니다. 스팟 선점(spot preemption)은 시퀀스 병렬화(SP) 그룹을 더 깨뜨려 GPU 토폴로지를 파편화합니다. 우리는 DiT RL 사후학습을 위해 스팟 GPU를 활용하는 최초의 시스템인 Spotlight를 제안합니다. Spotlight는 우리가 고안한 두 가지 핵심 통찰에 기반합니다. (1) 탐험은 오래된 모델 가중치를 허용할 수 있음을 보여줍니다. 이전 반복(iteration)의 모델 가중치를 사용하는 탐험은 랜덤 시드의 상대적 순위를 보존하므로, 학습 중 유휴 스팟 GPU에서 탐험을 실행할 수 있습니다. (2) SP 재구성은 노드 내 상태를 재사용할 수 있어, 그룹 복구 시간을 수분에서 1초 미만의 실행 시간으로 단축합니다. 이러한 통찰을 바탕으로, Spotlight는 세 가지 기법을 도입합니다: 학습 시간 예산 내에서 보상(reward) 분산을 최대화하는 밴디트 기반 탐험 계획기, 지속형 스케줄러와 노드 내 가중치 복사를 통해 SP 그룹을 동적으로 재구성하는 탄력적 시퀀스 병렬화, 그리고 부하를 균형화하고 선점 시 진행 중인 상태를 커밋하는 선점 인식형 풀 기반 요청 스케줄러입니다. 우리는 오픈소스 RL 플랫폼인 ROLL에 Spotlight를 구현하고 Qwen-Image 사후학습에서 평가했습니다. Spotlight는 기준선보다 $4\times$ 더 빠르게 동일한 목표 검증(validation) 점수에 도달하여, 전체 비용을 $1.4$-$6.4\times$ 줄이면서 DeepSeek-OCR 및 Geneval 데이터셋에서 해상도 $512\times512$ 및 $1280\times1280$으로 우수한 이미지 품질을 달성했습니다.