본 연구에서는 대규모 모델, 대규모 협업, 복잡한 네트워크 토폴로지 전반으로 확장되도록 설계되었으며 통신 오버헤드를 거의 발생시키지 않으면서 전역 합의(global consensus)를 달성하는 탈중앙화된 대규모 언어 모델(LLM) 미세조정(fine-tuning)의 새로운 접근법인 SeedFlood를 제시합니다. 기존 방식들은 모델 크기에 비례하여 증가하는 높은 통신 비용으로 인해 어려움을 겪으며, 네트워크 홉(hop)에 따른 정보 감소로 인해 전역 합의가 비효율적이었습니다. SeedFlood는 0차 기울기(zeroth-order gradient)의 시드 재구성 가능 구조를 활용하여 전송할 메시지 크기를 실질적으로 0에 가깝게 만듦으로써 이러한 기존 관행에서 크게 벗어납니다. 이를 통해 메시지를 네트워크의 모든 클라이언트에 플러딩(flooding)할 수 있게 하여 탈중앙화 학습(training)의 확장성을 향상시킵니다. 결과적으로 SeedFlood는 수십억 매개변수(parameter) 규모의 모델이나 수백 개의 클라이언트에 걸친 분산 환경과 같이 이전에는 비실용적으로 여겨졌던 영역에서의 학습을 가능하게 합니다. 탈중앙화 LLM 미세조정에 대한 실험 결과, SeedFlood는 통신 효율성과 일반화 성능 모두에서 표준 0차 베이스라인을 지속적으로 능가하며, 대규모 설정에서는 몇 자릿수(orders-of-magnitude) 더 적은 통신 비용을 요구하면서도 1차 가십 기반(gossip-based) 방식과 대등한 결과를 달성함을 보여줍니다. 또한 이론적 분석을 제공하여 SeedFlood가 클라이언트 참여 증가로 인한 가속 효과를 유지하면서도 수렴(convergence) 경계에서 토폴로지 의존적 합의 항을 피함을 정식화합니다.
적대적 학습(adversarial training)은 적대적 공격에 대한 모델 견고성(robustness)을 향상하는 역할로 인해 최근 몇 년 동안 널리 연구되어 왔습니다. 본 논문은 다중 에이전트(multi-agent) 학습 환경 내에서 중앙 집중식 및 탈중앙화 전략을 포함한 다양한 분산 적대적 학습 알고리즘을 비교하는 데 중점을 둡니다. 선행 연구들은 견고성을 결정하는 데 있어 모델 평탄도(flatness)의 중요성을 강조해 왔습니다. 이를 위해 본 연구에서는 지역 최솟값(local minima)으로부터 이러한 알고리즘들의 탈출 효율성을 연구하기 위한 일반적인 이론적 프레임워크를 개발하며, 이는 결과 모델의 평탄도와 밀접한 관련이 있습니다. 연구 결과, 섭동 경계(perturbation bound)가 충분히 작고(즉, 공격 강도가 비교적 약하고) 대규모 배치(batch) 크기를 사용할 경우, 합의(consensus) 및 확산(diffusion)을 포함한 탈중앙화 적대적 학습 알고리즘이 중앙 집중식 전략보다 지역 최솟값에서 더 빠르게 탈출하는 것이 보장되어 더 평탄한 최솟값을 선호하게 됨을 보입니다. 그러나 섭동 경계가 커짐에 따라 이러한 경향은 더 이상 유지되지 않을 수 있습니다. 시뮬레이션 결과에서는 이론적 발견을 설명하고 탈중앙화 및 중앙 집중식 적대적 학습 알고리즘을 통해 얻은 모델의 성능을 체계적으로 비교합니다. 이 결과는 분산 환경에서 모델의 견고성을 향상하기 위한 탈중앙화 전략의 잠재력을 강조합니다.
트랜스포머 네트워크의 프로젝션 행렬에서 자연적으로 발생하는 랭크 붕괴(rank collapse) 현상과 재귀적 구조를 활용해 순전파·역전파 모두에서 활성화 값을 저차원 부분공간(subspace)으로 압축하는 Subspace Networks를 제안하며, 80Mbps 소비자급 인터넷 환경에서 100Gbps 데이터센터 수준의 수렴 성능으로 수십억 파라미터 모델 학습을 가능케 하는 최대 100배의 통신 효율 향상을 달성한다.
Frontier AI training is increasingly shaped by access to dense, centrally controlled accelerator clusters. This creates a structural advantage for hyperscalers and large centralized laboratories, and makes open or independent AI efforts depend on scarce capital, privileged infrastructure, and data-center geography. We present Spheroid BlockTrain, a decentralized training protocol in which a model is partitioned into independently trainable blocks, each optimized on a local objective derived from the same global target and composed at inference into one model. On byte-level WikiText, BlockTrain reaches cross entropy 1.359 (perplexity 3.89), within about 0.04 CE of a same-setup end-to-end Transformer reference, while each active worker trains only one block and avoids full-model optimizer state. A shared six-worker block training run reaches CE 1.385 by averaging same-block updates into one assembled model. HTTP/TCP transport experiments move real serialized checkpoints and updates, including a public-IP three-host run that improves CE from 5.580 to 1.811 while moving 15.22 GB. For inference, the current BlockTrain path uses one block-stack traversal per full output and serves over direct TCP across three public-network GPU hosts up to a 75.80B-parameter logical fp16 shape, outperforming a matched plain-autoregressive TCP pipeline baseline because it emits a full sequence per WAN pipeline traversal rather than one token per traversal.