arXiv:2610.01304v1 cs.NI

모바일 네트워크 기반 LLM 연합학습: RAN 트랜스포트에서의 문제점과 해결 방안

Federated Learning for LLMs over Mobile Networks: Issues and Solutions in the RAN Transport

Emilio Paolini, Andrea Pinto, Flavio Esposito, Luca Valcarenghi

제출 2026-10-01

한국어 초록

연합 LLM 미세조정(fine-tuning)은 네트워크 엣지에서 비공개 및 지리적으로 분산된 데이터를 활용해 대규모 모델을 적응시킬 수 있도록 지원하지만, 액세스 및 트랜스포트 네트워크 전반에 걸쳐 주기적이고 마감 기한에 민감한 통신 워크로드를 유발합니다. 이러한 과제는 무선 가변성, 이동성, 기기 이종성으로 인해 모델 업데이트가 비동기적으로 도착하는 모바일 RAN(무선 접속망)에서 특히 두드러집니다. 이 업데이트들은 동일한 학습 라운드에 속하며 공통의 목적지와 마감 기한을 공유함에도 불구하고, 기존 트랜스포트 네트워크는 이를 개별 기기에서 생성된 독립적인 흐름으로 취급하여 기저의 구조를 가리고 트랜스포트 자원을 효율적으로 프로비저닝하는 능력을 제한합니다. 이러한 불일치는 예측 가능하고 스케줄링 가능한 트래픽 수요에 유리한 광 회선 교환(optical circuit switching) 및 전광(all-photonics) 트랜스포트에서 특히 문제가 됩니다. 본 논문에서는 미래의 RAN이 분산 모델 적응의 통신 구조를 트랜스포트 층(layer)에 노출함으로써 학습 인지형 트래픽 셰이퍼(traffic shaper) 역할을 수행해야 한다고 주장합니다. gNB에서의 인네트워크 집약(in-network aggregation)을 통해, 비동기적인 UE 업데이트는 제한된 크기와 전달 요구사항을 갖는 더 적은 수의 집약 전송으로 변환될 수 있습니다. 이러한 방식으로 정형화되면 연합 LLM 트래픽은 선택적으로 프로비저닝되는 광학 연결에 적합한 후보가 되며, 집약 전송 윈도우 동안 대용량 경로를 설정하고 학습 라운드 사이에는 이를 해제할 수 있습니다. 결과적인 아키텍처는 패킷 기반 모바일 액세스의 유연성과 동적으로 프로비저닝되는 광 용량을 결합하여, 프로그래머블 액세스 및 트랜스포트 네트워크 전반에서 분산 AI 워크로드를 조정하기 위한 보다 폭넓은 접근 방식을 보여줍니다.

원문 초록

Federated LLM fine-tuning enables large models to be adapted using private and geographically distributed data at the network edge, creating recurring and deadline-sensitive communication workloads across access and transport networks. This challenge is particularly relevant in mobile RANs, where wireless variability, mobility, and device heterogeneity cause model updates to arrive asynchronously. Although these updates belong to the same learning round and share a common destination and deadline, conventional transport networks treat them as independent device-originated flows, hiding their underlying structure and limiting the ability to efficiently provision transport resources. This mismatch is particularly problematic for optical circuit switching and all-photonics transport, which benefit from predictable and schedulable traffic demands. We argue that future RANs should act as learning-aware traffic shapers by exposing the communication structure of distributed model adaptation to the transport layer. Through in-network aggregation at the gNB, asynchronous UE updates can be transformed into fewer aggregate transfers with bounded size and delivery requirements. Once shaped in this way, federated LLM traffic becomes a suitable candidate for selectively provisioned optical connectivity, where high-capacity paths can be established during aggregate-transfer windows and released between learning rounds. The resulting architecture combines the flexibility of packet-based mobile access with dynamically provisioned optical capacity, illustrating a broader approach for coordinating distributed AI workloads across programmable access and transport networks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01304v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10854v2cs.LG공통 태그 Edge-computing, Large Language Model

KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법

KDFP: A first-principles approach to knowledge distillation in large language models

지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.

arXiv:2610.15781v1cs.LG공통 태그 Edge-computing, Large Language Model

하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기

Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models

학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.

arXiv:2610.03316v2cs.AI공통 태그 Scheduling, Large Language Model

LLM을 활용한 제로샷 교차 문제 일반화를 위한 다중 작업 진화

Multi-Task Evolution for Zero-Shot Cross-Problem Generalization using LLMs

다양한 조합 최적화(combinatorial optimization) 문제를 위한 효과적인 휴리스틱(heuristic)을 설계하는 것은 상당한 전문성과 반복적인 탐색을 필요로 합니다. 대규모 언어 모델(LLM)은 휴리스틱 생성과 개선을 자동화하지만, 휴리스틱 탐색은 일반적으로 최적화 대상 문제의 평가 피드백에 의존합니다. 따라서 소스 작업 피드백만을 사용하여 새로운 문제 정의로 일반화하는 것은 여전히 핵심적인 과제로 남아 있습니다. 본 논문에서는 제로샷(zero-shot) 교차 문제 일반화를 위한 LLM 기반 다중 작업 진화 프레임워크인 MECo를 소개합니다. MECo는 작업 조건부 휴리스틱 개체군을 유지하며, 교차 작업 개체군 성능에 기반한 전이 격차(transfer gap)를 활용해 이들의 상호작용을 유도합니다. 이러한 상호작용은 휴리스틱의 전이와 재조합을 가능하게 합니다. 그런 다음 상호보완적 선택 기준을 통해 각 개체가 소스 조합에 대해 제공하는 추가적인 커버리지를 보상함으로써 간결한 휴리스틱 세트를 구성합니다. 선택된 세트는 추가적인 탐색이나 적응 과정 없이 타깃 문제에 바로 적용됩니다. 차량 경로 문제(VRP) 및 유연한 잡숍 스케줄링(FJSP) 전반에 걸친 32가지 변형 문제를 대상으로 한 실험에서, MECo는 동일한 예산 하에 8개의 자동화된 휴리스틱 설계(AHD) 기준선과 비교해 가장 낮은 평균 비용을 달성함을 보여줍니다. 도메인 외(OOD) 문제에서도 각 제품군에서 가장 강력한 기준선을 능가합니다. 나아가 MECo 프레임워크를 서로 다른 AHD 방법들과 통합했을 때 두 제품군 모두에서 ID 및 OOD 성능이 향상되어, 여러 방법 전반에 걸친 유효성을 뒷받침합니다.

arXiv:2610.11033v1cs.CL공통 태그 Federated Learning, Large Language Model

FedAlphaEdit: 협업적 지식 편집을 위한 영공간 정렬 병합

FedAlphaEdit: Null-Space-Aligned Merging for Collaborative Knowledge Editing

여러 기관이 각자의 비공개 지식 편집 요청을 보유하고 있으며, 원본 편집 요청을 공유하지 않고 이를 단일 대규모 언어 모델(LLM)에 통합하고자 할 수 있습니다. AlphaEdit과 같은 영공간(null-space) 제약 기반 편집 방식은 각 업데이트가 무관한 지식을 온전히 보존하도록 수학적으로 보장하며, CollabEdit과 같은 협업 프레임워크는 데이터 공유 없이 여러 클라이언트의 편집 내용을 취합합니다. 이 두 방식을 결합하는 것은 언뜻 단순해 보입니다. 그러나 본 논문에서는 이러한 단순한 결합이 구조적으로 실패함을 보이고 그 원인을 규명합니다. 이 분석을 바탕으로 FedAlphaEdit을 제안합니다. 우리가 아는 한, 이는 기존 지식을 보존하기 위한 단일 영공간 원칙 하에 로컬 편집과 서버 측 병합 규칙을 모두 정렬하는 최초의 협업적 지식 편집 프레임워크입니다. FedAlphaEdit은 영공간 정렬 병합(null-space-aligned merging)을 기반으로 구축되며, 클라이언트는 투영된 통계량을 공유하고 서버는 원샷 이상화(one-shot idealization) 조건에서 모든 항목을 한곳에서 편집한 결과를 증명 가능하게 복원합니다. 실증적으로 제안된 방법은 이러한 붕괴 현상을 해결하고, 두 가지 아키텍처 계열 전반에서 편집 성공률과 지식 보존율을 중앙 집중식 편집 수준에 근접하게 동시에 끌어올립니다. 따라서 FedAlphaEdit은 병원이나 금융 기관처럼 원본 편집 데이터를 공유할 수 없는 기관들이 모든 사실을 한곳에서 편집하는 것에 가깝게 근사하여 공유 모델을 공동으로 유지 관리할 수 있도록 지원합니다.

arXiv:2610.02355v1cs.LG공통 태그 Scheduling, Large Language Model

적응적 배치가 LLM 사전학습에 도움이 되는 이유는 무엇인가? 비유계 분산의 관점에서

Why Does Adaptive Batching Help LLM Pretraining? A Perspective from Unbounded Variance

학습 중 배치 크기를 늘리는 것은 대규모 언어 모델(LLM) 사전학습에서 흔히 사용되는 방법이지만, 그 성공 이면의 이론적 근거는 잘 이해되지 않고 있다. 확률적 최적화에 대한 분석은 흔히 균일하게 유계인 확률적 그래디언트 분산을 가정하지만, 최근의 증거들은 이 가정이 많은 실제 비convex 문제에서 성립하지 않음을 보여준다. Blum-Gladyshev(BG-0) 노이즈 모델은 분산이 초기화 지점으로부터의 거리에 따라 2차적으로 증가할 수 있도록 허용함으로써 이 가정을 완화하며, 이는 배치 크기 스케줄러가 학습 중 분산 증가를 제어함으로써 도움을 줄 수 있음을 시사한다. 그러나 이러한 증가는 실제로는 지나치게 보수적일 수 있다. 우리는 LLM 사전학습에서의 분산 증가를 실증적으로 조사하였으며, 조정 가능한 증가 지수를 갖는 일반화된 BG 모델이 실제 노이즈 거동을 더 정밀하게 설명한다는 것을 관찰하였다. 이러한 관찰에 기반하여, 우리는 유계 분산($a=0$)과 BG-0 노이즈($a=2$) 사이를 보간하는 일반화된 BG-$a$ 노이즈 모델을 도입한다. $L$-smoothness 하에서, 우리는 증가 지수에 의존하는 오라클 복잡도 $Ω(ε^{-(4+a)})$를 갖는 정보 이론적 하한을 도출하고, 반복(iterate)이 초기화 지점으로부터 멀어질 때 배치 크기를 증가시킴으로써 $ε$ 의존성 측면에서 이에 상응하는 상한을 확립한다. 마지막으로, 우리는 학습 중 동적인 배치 크기 조정을 통해 분산 증가를 제어하는 적응적 배치 스케줄러를 제안한다. C4 데이터셋에서 최대 10억 개 파라미터 규모의 OLMo2 모델을 사전학습하는 실험에서, 우리의 스케줄러는 동일한 토큰 예산 하에서 작은 배치 학습과 큰 배치 학습 모두보다 더 낮은 검증 손실을 달성하면서도, 작은 배치 학습 반복 횟수의 10% 미만만을 사용한다.

arXiv:2610.03296v1cs.AI공통 태그 Scheduling, Large Language Model

JOVE: 자원 인지형 LLM 태스크 그래프를 위한 공동 실행 및 검증

JOVE: Joint Execution and Verification for Resource-Aware LLM Task Graphs

복잡한 추론 질의는 방향성 비순환 그래프(DAG) 형태의 태스크 그래프로 분해되어 이종 대규모 언어 모델(LLM)에 분산될 수 있으며, 이를 통해 병렬 처리를 통한 지연 시간을 줄이고 더 작은 모델이 복잡한 태스크를 해결하도록 지원할 수 있습니다. 그러나 실제로는 주어진 서브태스크에 대한 특정 LLM의 적합성을 사전에 알 수 없을 수 있으며, 단순 실행만으로는 출력의 정확성을 파악할 수 없습니다. 본 논문에서는 실행기 LLM을 할당하는 동시에 유료 검증을 거칠 중간 출력을 함께 선택하는 온라인 프레임워크인 JOVE를 제안합니다. 검증은 비동기식으로 실행되며 향후 할당 결정을 개선하는 데 사용되므로, 시스템은 현재 실행에 드는 비용과 향후 학습을 위한 지출 사이의 균형을 유지해야 합니다. 본 연구에서는 확률적이며 초기에는 알려지지 않은 LLM 서비스 품질, 호출 비용 및 실행 시간 환경에서 장기 예산과 질의별 지연 시간 제약 조건 하에 이러한 트레이드오프를 최적화하는 방법을 연구합니다. JOVE는 질의별 일련의 혼합 정수 선형 계획법(MILP) 문제를 해결하여 실행 및 검증 결정을 내립니다. 온라인 학습은 검증 피드백을 기반으로 LLM 품질에 대한 태스크 의존적 추정치를 업데이트하며, 정보 이득 보너스를 통해 학습의 가치를 할당 결정에 반영합니다. 자연스러운 일련의 가정 하에 본 연구는 JOVE의 준선형(sublinear) 품질 학습 후회(regret)를 입증합니다. 4가지 추론 벤치마크 전반에서 JOVE는 표준 추론(inference) 베이스라인 대비 경쟁력 있는 정확도를 달성하는 동시에 평균 비용과 지연 시간을 최소 3.17배 단축합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.