독립적으로 파인튜닝된 모델들을 하나로 집계하여 각각의 능력을 결합하는 모델 병합 기법은 최근 몇 년간 큰 관심을 받아온 주제로, 이 문제를 해결하기 위한 다양한 방법들이 제안되어 왔다. 동시에, 분산 학습의 새로운 흐름으로서 로컬 SGD와 DiLoCo 같은 방법들이 활용되고 있으며, 이 방법들은 주기적으로 독립 학습된 로컬 모델들을 집계함으로써 통신 비용을 크게 줄인다. 그러나 이러한 통신 효율적 방법들은 독립적인 로컬 모델의 수가 증가하고 전역 통신 전 로컬 학습 스텝 수가 늘어남에 따라 FLOP 매칭 데이터 병렬 표준 대비 성능이 저하되는 것으로 나타났다. 본 연구에서는 로컬 SGD/DiLoCo의 의사 그래디언트(pseudo-gradient) 집계 단계와 태스크 산술(task arithmetic) 기반 모델 병합 간의 명시적인 유사성을 도출하여, 분산 최적화 맥락에서 병합 방법을 활용하는 직관적인 방법을 확립한다. 이후 이 설정에서 여러 최신 모델 병합 방법들을 평가하고, 그 중 Iso-C를 DiLoCo 개선을 위한 유망한 접근법으로 식별한다. Iso-C 집계를 적용한 DiLoCo SGD는 단순 의사 그래디언트 평균화뿐만 아니라 모멘텀 기반 DiLoCo조차 능가하는 것으로 나타났으며, 이는 Iso-C 자체에 모멘텀 메커니즘이 없음에도 불구하고 달성된 결과이다. 이 발견을 바탕으로 우리는 네스테로프 모멘텀(Nesterov momentum)을 적용하여 Iso-C를 분산 학습에 적합하게 개선한 IsoLoCo를 제안한다. 다양한 수의 로컬 워커를 사용한 언어 모델 사전학습에 대한 실증 평가에서 IsoLoCo는 DiLoCo를 크게 능가하며, 워커 수가 증가할수록 그 격차가 더욱 벌어지는 것으로 나타났다. 이러한 우위는 모델 크기와 내부 스텝 수 전반에 걸쳐 유지되어, 병합에서 영감을 받은 집계가 저통신 분산 학습을 위한 효과적인 전략임을 확인해 준다.
DiLoCo 방식의 학습은 학습자 아일랜드(learner island)들이 간헐적인 외부 동기화(outer synchronization) 이전에 로컬로 학습하도록 허용함으로써 통신량을 줄이며, 학습이 지연 민감 서빙과 하드웨어를 공유하는 분산된 산업용 AI 플리트(fleet)에 매력적인 방식이다. 이러한 플리트에서의 핵심 질문은 외부 병합(outer merge)이 시스템 비용을 감수할 가치가 있는 시점이 언제인지, 그리고 어떤 윈도우를 지연할지 선택하는 것이 실제로 중요한지에 관한 것이다. 기존 스케줄링 연구들은 워크로드 인식 정책을 고정 주기 기준선과 비교하여 평가하지만, 대부분 타이밍을 예산과 분리하는 제어 조건, 즉 컨트롤러의 동기화 예산은 그대로 따르되 그 자체로는 배포 불가능한 매칭된 무작위 지연(matched random deferral)을 생략한다. 이 생략은 중요한 결과를 초래한다: 제어된 스트레스 테스트와 실제 vLLM 사이드카(sidecar) 재현(replay) 전반에서 매칭된 무작위는 우리가 테스트한 모든 예측 기반 없는 정책과 동률이거나 이를 능가하므로, 더 약한 기준선 대비 보고된 성능 향상을 윈도우 선택에 귀인할 수 없다. 우리는 이 공백을 워크로드 인식 DiLoCo(WA-DiLoCo)로 채운다. WA-DiLoCo는 학습자의 진행 상황과 플리트 압력을 균형 있게 고려하는 점수 기반 컨트롤러와, 매칭된 무작위를 능가할 수 있는 조건을 파악한 뒤 실제로 이를 달성해 보이는 보정 프로토콜(calibration protocol)로 구성된다. 보정을 통해 요청 중복 구조가 드러나는 버스트(bursty) 레짐에서, 온라인 컨트롤러에 1단계 EWMA 버스트 예측을 추가하면 실제 vLLM 사이드카 재현에서 매칭된 무작위를 능가하여 SLO 위반율을 6.54%에서 5.09%로 줄인다(10개 시드 중 8개, $p=0.021$). 배포 불가능한 상한선인 오프라인 Calibrated-WA는 6.26% 대비 4.45%의 잔여 여유를 보여준다. 배포 가능한 교훈은 여전히 프로토콜에 있다: 서빙 SLO 개선을 주장하기 전에 실제 사이드카 효과 크기 이전(effect-size transfer), 비동기화 부하 매칭(no-sync load match), 그리고 매칭된 무작위 포락선(matched-random envelope)을 반드시 보고해야 한다.
고대역폭 데이터센터 밖에서도 대규모 분산 학습을 실용적으로 만들려면, 블로킹되고 대용량인 동기화를 줄여야 한다. DiLoCo는 통신 빈도가 낮지만, 외부 동기화는 여전히 대역폭을 많이 소모하며 느린 작업자(straggler)와 일시적 장애에 취약하다. 우리는 mixing/gossip을 통해 정확한 동기화를 근사 동기화로 완화하며, 이는 지연과 통신 장애 하에서도 점진적으로 성능이 저하된다. 이를 통해 DiLoCo 동기화를 staleness 없이 계산과 겹치는 논블로킹(non-blocking) mixing 단계와, 작업자(worker) 간 합의를 강화하는 블로킹 mixing 단계로 인수분해할 수 있으며, 연산 활용률과 최적화 안정성 사이의 조절 가능한 트레이드오프를 얻을 수 있다. 저대역폭 환경에서 최대 10억 매개변수 규모의 언어 모델에 대해, 본 프레임워크는 DiLoCo 대비 연산 활용률을 크게 개선하며, 학습 진행은 DiLoCo와 비슷한 수준에서 거의 동등한 수준까지 이르며, 장애에 더 강건하다.