모바일 네트워크 기반 LLM 연합학습: RAN 트랜스포트에서의 문제점과 해결 방안
Federated Learning for LLMs over Mobile Networks: Issues and Solutions in the RAN Transport
연합 LLM 미세조정(fine-tuning)은 네트워크 엣지에서 비공개 및 지리적으로 분산된 데이터를 활용해 대규모 모델을 적응시킬 수 있도록 지원하지만, 액세스 및 트랜스포트 네트워크 전반에 걸쳐 주기적이고 마감 기한에 민감한 통신 워크로드를 유발합니다. 이러한 과제는 무선 가변성, 이동성, 기기 이종성으로 인해 모델 업데이트가 비동기적으로 도착하는 모바일 RAN(무선 접속망)에서 특히 두드러집니다. 이 업데이트들은 동일한 학습 라운드에 속하며 공통의 목적지와 마감 기한을 공유함에도 불구하고, 기존 트랜스포트 네트워크는 이를 개별 기기에서 생성된 독립적인 흐름으로 취급하여 기저의 구조를 가리고 트랜스포트 자원을 효율적으로 프로비저닝하는 능력을 제한합니다. 이러한 불일치는 예측 가능하고 스케줄링 가능한 트래픽 수요에 유리한 광 회선 교환(optical circuit switching) 및 전광(all-photonics) 트랜스포트에서 특히 문제가 됩니다. 본 논문에서는 미래의 RAN이 분산 모델 적응의 통신 구조를 트랜스포트 층(layer)에 노출함으로써 학습 인지형 트래픽 셰이퍼(traffic shaper) 역할을 수행해야 한다고 주장합니다. gNB에서의 인네트워크 집약(in-network aggregation)을 통해, 비동기적인 UE 업데이트는 제한된 크기와 전달 요구사항을 갖는 더 적은 수의 집약 전송으로 변환될 수 있습니다. 이러한 방식으로 정형화되면 연합 LLM 트래픽은 선택적으로 프로비저닝되는 광학 연결에 적합한 후보가 되며, 집약 전송 윈도우 동안 대용량 경로를 설정하고 학습 라운드 사이에는 이를 해제할 수 있습니다. 결과적인 아키텍처는 패킷 기반 모바일 액세스의 유연성과 동적으로 프로비저닝되는 광 용량을 결합하여, 프로그래머블 액세스 및 트랜스포트 네트워크 전반에서 분산 AI 워크로드를 조정하기 위한 보다 폭넓은 접근 방식을 보여줍니다.