파운데이션 모델의 연합 학습(federated training)은 클라이언트 메모리와 통신 비용의 제약을 받습니다. LoRA 기반 방식들은 저랭크 어댑터(low-rank adapter)를 통해 이러한 비용을 줄이지만, 고정된 랭크 예산(rank budget)으로 인해 적응 능력이 제한될 수 있습니다. 그래디언트 저랭크 최적화는 더 높은 유연성을 제공하지만, 독립적으로 선택된 클라이언트 부분공간은 당사가 '부분공간 파편화(subspace fragmentation)'라 명명한 문제를 야기합니다. 즉, 로컬 프로젝션이 데이터 이질성과 상호작용하여 집계된 방향에 바이어스를 발생시키고, 집계 과정에서 업데이트 랭크와 통신 비용이 증가할 수 있습니다. 따라서 정확한 로컬 그래디언트 압축이 글로벌 강하 방향 보존으로 반드시 이어지지는 않습니다. 본 논문에서는 라운드 내에서 저랭크 최적화 기저를 공유하고 이를 라운드마다 갱신하는 FedLore를 제안합니다. 이 공유 기저는 저랭크 좌표계에서의 정확한 집계를 가능하게 하고 규명된 프로젝션 바이어스를 제거합니다. 또한 부분공간 갱신을 통해 누적 모델 업데이트가 라운드별 랭크 예산을 초과할 수 있도록 합니다. 본 연구는 집계 바이어스를 규명하고, 유계된 그래디언트 이질성 조건과 표준적인 평활도 및 분산 가정 하에 전역 그래디언트 커버리지 조건에서 투영-SGD(projected-SGD) 변형에 대한 $O(T^{-1/2})$ 정상성(stationarity) 경계를 확립합니다. 연합 사전학습을 포함한 비전 및 언어 태스크 실험을 통해, FedLore가 평가된 저랭크 어댑터 베이스라인보다 우수하고 통신 비용과 옵티마이저 상태 메모리를 줄이면서도 전체 매개변수 학습과 동등하거나 이를 능가함을 보입니다.
Open Radio Access Network(O-RAN) 아키텍처 내 대규모 신경망의 배포는 네이티브 엣지 인텔리전스를 가능하게 하는 데 핵심적이다. 그러나 이 패러다임은 두 가지 중대한 병목에 직면해 있다: 자원이 제한된 gNB에서의 로컬 학습에 필요한 과도한 메모리 사용량, 그리고 고차원 모델 업데이트의 전역 집계 과정에서 대역폭이 제한된 백홀 링크의 포화이다. 이러한 문제를 해결하기 위해, 우리는 로컬 메모리 효율성과 전역 통신 감소를 통합하는 새로운 압축 및 결합 기반 연합학습(Federated Learning) 프레임워크인 CoCo-Fed를 제안한다. 로컬 측면에서, CoCo-Fed는 그래디언트의 이중 차원 다운 프로젝션을 수행하여 메모리 장벽을 극복하고, 추가적인 추론 파라미터 및 지연 시간 없이 저랭크(low-rank) 구조에서 동작하도록 옵티마이저를 적응시킨다. 전역 측면에서, 직교 부분 공간 중첩(orthogonal subspace superposition) 기반의 전송 프로토콜을 도입하여 층별 업데이트를 gNB당 단일 통합 행렬로 투영 및 중첩함으로써 백홀 트래픽을 대폭 감소시킨다. 경험적 설계를 넘어, 무선 센싱 작업에 적합한 비지도 학습(unsupervised learning) 조건에서도 CoCo-Fed의 수렴을 증명하는 엄격한 이론적 기반을 확립한다. 도래각(angle-of-arrival) 추정 작업에 대한 광범위한 시뮬레이션을 통해, CoCo-Fed가 non-IID 환경에서 강건한 수렴을 유지하면서 메모리 및 통신 효율성 모두에서 최신 기준 모델들을 크게 능가함을 입증한다.
Digital twins (DTs) have become a potential technology to perform risk-free simulation of physical entities for deterministic and high-reliability services in diverse scenarios such as autonomous driving and low-altitude economy. In the autonomous driving scenario, traditional DT methods that rely solely on vehicle's real-time state synchronization, however, might lead to unacceptable computing and communication consumption for construction of high-fidelity DT with redundant data. To address this issue, we first propose a query-driven DT architecture to enable the DT to actively request the desired environment data from vehicles based on its simulation result. Then, we formulate an optimization problem whose goal is to minimize autonomous driving position error while accounting for DT fidelity and communication constraints. We also design a cross-time-step progressive query mechanism to further improve communication efficiency. The simulation results show that our proposed method achieves a 24% reduction in planning position error compared to traditional methods, while reducing communication overhead by 40%.