arXiv:2104.02151

Distributed Learning in Wireless Networks: Recent Progress and Future Challenges

Mingzhe Chen, Deniz Gündüz, Kaibin Huang, Walid Saad, Mehdi Bennis, Aneta Vulgarakis Feljan, H. Vincent Poor

제출 2021-04-05

원문 초록

The next-generation of wireless networks will enable many machine learning (ML) tools and applications to efficiently analyze various types of data collected by edge devices for inference, autonomy, and decision making purposes. However, due to resource constraints, delay limitations, and privacy challenges, edge devices cannot offload their entire collected datasets to a cloud server for centrally training their ML models or inference purposes. To overcome these challenges, distributed learning and inference techniques have been proposed as a means to enable edge devices to collaboratively train ML models without raw data exchanges, thus reducing the communication overhead and latency as well as improving data privacy. However, deploying distributed learning over wireless networks faces several challenges including the uncertain wireless environment, limited wireless resources (e.g., transmit power and radio spectrum), and hardware resources. This paper provides a comprehensive study of how distributed learning can be efficiently and effectively deployed over wireless edge networks. We present a detailed overview of several emerging distributed learning paradigms, including federated learning, federated distillation, distributed inference, and multi-agent reinforcement learning. For each learning framework, we first introduce the motivation for deploying it over wireless networks. Then, we present a detailed literature review on the use of communication techniques for its efficient deployment. We then introduce an illustrative example to show how to optimize wireless networks to improve its performance. Finally, we introduce future research opportunities. In a nutshell, this paper provides a holistic set of guidelines on how to deploy a broad range of distributed learning frameworks over real-world wireless communication networks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02036v3cs.AI공통 태그 Decision Making, Multi-agent Reinforcement Learning

전역 일관성: 모든 에이전트가 옳아도 팀 전체는 틀릴 때 - 멀티 에이전트 협업을 위한 국소-전역 의미론적 기반

Global Coherence: When Every Agent Is Right and the Team Is Still Wrong - A Local-to-Global Semantic Foundation for Multi-Agent Collaboration

AI 에이전트는 코드, 문서, 도구, 분석을 공유한다. 어떤 참여자도 전체 상태를 보지 못하므로, 모든 단계가 옳아 보이는데도 결합된 결과는 틀릴 수 있다. 우리는 이를 전역 일관성 문제라고 부른다. 이는 지능만의 문제가 아니라 상태의 문제이다. 더 강한 모델은 국소적으로 더 잘 결정하지만, 자신의 맥락에서 무엇이 빠져 있는지는 볼 수 없다. 관측 에일리어싱 불가능성 정리는 정확한 조건을 제시한다. 에이전트는 자신의 맥락과 일치하는 모든 세계가 공통의 행동을 허용할 때, 그리고 그때에만 항상 유효하게 행동할 수 있다. 서로 닮은 세계들이 서로 다른 행동을 요구할 때에는, 어떤 추론, 역할, 메시지, 표본도 올바른 행동을 보장할 수 없다. 유효한 행동이 서로소인 이러한 세계가 $k$개 있으면, 최선의 무작위 정책이 성공할 확률은 1/k이다. 충분한 최소 맥락을 찾는 것은 NP-난해이지만, 정제(refinement)가 하나를 찾아내고 규칙이 바뀔 때 이를 최신 상태로 유지한다. 두 번째 실패는 완전한 정보 하에서도 남는다. 유효한 조각들이 하나의 세계로 맞춰지지 않을 수 있다. 동일한 정리가 일관성의 조건을 규정하며, 층(sheaf)과 군다발(groupoid)은 이를 충족하는 한 가지 방법이다. 모델이 제안하고, 하네스가 무엇이 유효한지 결정한다. 열 가지 연구로 이를 검증한다. TeamBench에서 팀은 5/5회 실행에서 공유 예산을 초과 지출하며, 실시간 집계를 보여 주어도 4/5가 남고, 예산을 소유하는 하네스에서는 0/5가 남는다. 어떤 쌍별 검사로도 볼 수 없는 신원 충돌이 공개 정렬 네트워크 45개 중 23개에서 나타나며, 분할 시야 에이전트는 40회 병합 중 9회에서 이를 만들어 내고, 네트워크 검사는 아홉 건을 모두 제거한다. 최첨단 LLM은 결정적 사건을 볼 때 40/40개의 수정 과제를 해결하지만, 그 사건을 숨기면 더 오래 추론하거나, 투표하거나, 역할로 나누는 어떤 방식도 우연 수준을 유의하게 넘지 못하며, 동반 연구는 두 번째 제공자의 모델에서 이를 재현한다. tau2-bench Telecom에서 무음 되돌림 이후 하네스는 1.00점을 기록하는 반면 호출 시점 정책 검사는 0.07점이다. 정제는 모든 필드를 공유하는 비용의 28%로 충분한 맥락을 유지한다.

arXiv:2609.23997v2cs.RO공통 태그 Decision Making, Multi-agent Reinforcement Learning

RoboTalk: 다중 모달 시연으로부터 다중 로봇 통신 및 조율 학습하기

RoboTalk: Learning Multi-Robot Communication and Coordination from Multimodal Demonstrations

다중 로봇 협업은 복잡한 로봇 작업에 대해 더욱 효율적이고 확장 가능한 해결책을 가능하게 할 수 있지만, 부분 관측 가능성(partial observability) 하에서의 협업은 여전히 도전 과제로 남아 있습니다. 자연어 통신은 부분 관측 가능성 하에서 로봇들을 조율하기 위한 유망한 접근 방식을 제공합니다. 그러나 탈중앙화된 조작(decentralized manipulation)에서, 온디바이스 배포를 목표로 하는 소형 비전-언어 모델(VLM)이 다중 모달(multimodal) 시연으로부터 명시적인 로봇 간 통신과 스킬 수준의 행동 선택을 공동으로 학습하는 것은 아직 충분히 연구되지 않았습니다. 이러한 공백을 해결하기 위해, 소형 VLM이 통신하고 조율하도록 학습(training)시키기 위한 53개의 모바일 조작 주방 작업에 걸친 7,950개의 다중 모달 궤적으로 구성된 합성 데이터 생성 파이프라인 및 데이터셋인 RoboTalk을 소개합니다. 이 데이터셋에는 리더-팔로워 계획 프로토콜, 도구 호출(인식, 조작, 내비게이션, 통신), 추론 과정(rationale traces), 그리고 다양화된 자연어 통신이 포함되어 있습니다. 오픈소스 모델을 본 데이터셋으로 미세조정(fine-tuning)하면 새로운 미공개(held-out) 작업에서 77%의 성공률에 도달할 수 있으며, 이는 약 ~2%의 성공률을 보였던 미세조정되지 않은 기존 오픈소스 모델 대비 대폭 향상된 결과입니다.

arXiv:2608.04265v2cs.MA공통 태그 Decision Making, Multi-agent Reinforcement Learning

사이버-물리 시스템에서 대규모 언어 모델(LLM) 에이전트를 위한 계획 수립 전략의 전략적 평가

Strategic Evaluation of Planning Strategies for LLM Agents in Cyber-Physical Systems

대규모 언어 모델(LLM) 에이전트(agent) 평가는 일반적으로 작업 성공 여부나 명시된 계획과의 일치도를 측정합니다. 그러나 전략적 사이버-물리 시스템(cyber-physical systems)에서는 자율적 참여자가 반응하고 물리적 제약이 결과를 제한한 후에도 아키텍처가 적절성을 유지해야 합니다. 본 연구에서는 계획 유도 제어 궤적(planning-induced control trajectories), 즉 실행 아키텍처를 전략적 반응 및 물리적 결과와 연결하는 정렬된 계획 연산 및 지시문으로 구성된 통제된 벤치마크(benchmark)를 제시합니다. 코드화된 네 가지 실행기(사전 정의형, 순차형, 계층형, 탐색형)는 방사형 피더(radial feeder)에서 40개 프로슈머(prosumer)의 수요 반응을 제어합니다. LLM은 타입화된 정책을 선언하거나 조언하며 통신을 중재하고, 일정, 기본 프로슈머 동역학, 확률적 행동, 조류 계산(power flow)은 명시적 코드로 유지됩니다. 쌍체 강제 모드 반사실적 분석(paired forced-mode counterfactuals), 정확한 프롬프트(prompt) 캐싱, 별도의 무작위 스트림을 사용한 공통 응답 표본 추출, 비평자 격리, 이벤트 수준 실행 가능성을 통해 비교를 정밀하게 격리합니다. 이 피더에서 진행한 Llama-3.3-70B 모델(model) 실험은 세 가지 특성을 구별합니다. 첫째, 지정된 목표 하에서 5개의 모든 기준선(baseline) 시드에 걸쳐 강제 탐색이 오라클(oracle)로 나타났습니다. 둘째, 주입된 목표 대체(objective substitution)는 모드 일치도를 1.0으로 유지하면서도 누적 전압 부족을 2.68배 증가시켰습니다. 셋째, 3회의 반복 시드를 사용한 144개 시나리오, 576개 에피소드 요인 뱅크는 사전 정의형, 순차형, 탐색형에서 나온 실행 가능한 오라클을 포함합니다. 사전에 지정된 스트레스 홀드아웃 릿지(stress-held-out ridge)는 평균 리그렛(regret) 90.7을 기록했으며, 고정된 순차 방식 대비 관찰된 이점을 보이지 않았습니다. 사후 제약 인식 분석(post-hoc constraint-aware analysis)을 통해 리그렛을 29.0으로 줄였으나, 단순 마감 규칙도 28.7을 달성하므로 이러한 개선이 학습 상의 우위를 입증하지는 못합니다. 전원 실행 가능 절제 연구(all-feasible ablation) 역시 고정 탐색 방식보다 개선되지 않았습니다. 이는 시뮬레이션 내부의 기술적 비교입니다. 5개 모델, 300개 선언으로 확장한 실험에서는 백본 간 물리적 순위가 아닌 인터페이스 동작을 테스트하며, 공유 엔드포인트의 지연 시간 꼬리 분포(latency tails)는 확률적 실시간 실행 가능성의 필요성을 시사합니다.

arXiv:2609.35835v2cs.MA공통 태그 Decision Making, Multi-agent Reinforcement Learning

Amadeus: 인간 모델들이 만날 때

Amadeus: When Models of People Meet

AI의 지속적인 발전 속에서, 인간을 본떠 에이전트(agent)를 모델링하고 이 에이전트들을 활용해 합성 상호작용(synthetic interaction)을 수행하는 가능성이 주목받고 있습니다. 이러한 모델은 실제 대응 인물 간의 상호작용이나 잠재적으로 더 큰 규모의 상호작용을 예측하는 데 사용될 수 있습니다. 본 논문에서는 체스를 통해 통제된 환경에서 이 질문을 검증합니다. 8명의 엘리트 체스 선수를 대상으로 직접적인 일대일 대국을 제외(seal)한 뒤, 서로 다른 방식을 사용하여 각 선수를 독립적으로 학습하고, 유보된 2인 대국(dyad)에서 결과 모델들을 결합합니다. 생성된 상호작용을 평가하기 위해 오프닝 계열(opening-family) 총변동거리(total variation distance)와 승-무-패(win-draw-loss, WDL) 총변동거리라는 두 가지 측정 지표를 사용합니다. M1은 주로 WDL 충실도를 향상시키는 반면 오프닝 계열 개선 폭은 작은 반면, M2는 WDL-TV에 거의 영향을 미치지 않으면서 훨씬 더 큰 오프닝 계열 개선을 이끌어냅니다. M2 환경의 오프닝 계열 행동에서, 학습된 8명의 선수 정체성을 올바르게 할당했을 때 가능한 모든 $8! = 40{,}320$개의 할당 중 가장 근접하게 일치했습니다. 이러한 결과는 이전에 본 적 없는 상호작용의 일부 특성을 독립적으로 학습된 개인들로부터 복원할 수 있음을 보여줍니다. 여기서 관찰된 부분적인 복원은 결합적 상호작용 복원의 근본적인 한계라기보다는 현재의 개별 모델링 방식이 지닌 한계를 반영한 것일 수 있습니다. 두 메커니즘을 결합한 추가적인 사후(post-hoc) 방법은 두 측정 지표를 모두 향상시켰으며, 이는 이러한 행동 특성에 걸친 복원이 반드시 상호 배타적인 것은 아님을 시사합니다.

arXiv:2609.27654v1stat.ML공통 태그 Decision Making, Federated Learning

FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습

FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints

디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.

arXiv:2609.26783v1math.OC공통 태그 Decision Making, Multi-agent Reinforcement Learning

지연된 정보 공유를 활용한 탈중앙화 부분 관측 팀 의사결정 방법론

A Decentralized Partially Observable Team Decision Methodology with Delayed Information Sharing

본 논문에서는 저순위 잠재 동역학(low-rank latent dynamics)과 미지의 시스템 모델을 갖는 탈중앙화 부분 관측 팀 의사결정 문제를 연구합니다. 제안된 프레임워크는 전이 모델(transition model)에 대한 사전 지식 없이도 부분 관측 마르코프 결정 과정(POMDP)에서의 협력적 의사결정을 다루기 위해 팀 이론적 동치성(team-theoretic equivalence)과 저순위 모델 표현을 결합합니다. 각 팀 구성원은 로컬의 개별 정보와 팀 전체에 공유되는 지연된 공통 정보를 기반으로 의사결정을 내립니다. 사용 가능한 정보만을 활용하여, 각 구성원은 근사 저순위 마르코프 결정 과정을 학습하고 최소제곱 가치 반복(least-squares value iteration)을 적용하여 정책을 계산합니다. 이를 통해 중앙 조정자나 중앙 집중식 학습이 모두 필요하지 않은 완전 탈중앙화 학습 및 계획 알고리즘을 도출합니다. 우리는 결과로 도출된 구성원 측 해가 중앙 집중식 팀 해를 근사함을 보입니다. 즉, 부분 관측 가능성, 미지의 동역학, 지연된 공통 정보에도 불구하고 각 구성원은 근사 팀 최적 정책의 해당 구성 요소를 복원합니다. 나아가 제안된 알고리즘에 대한 유한 표본 성능 보장(finite-sample performance guarantees)을 확립하고 이에 대응하는 표본 복잡도 한계(sample-complexity bound)를 유도합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.