FedORA: Resource Allocation for Federated Learning in ORAN using Radio Intelligent Controllers
원문 초록
This work proposes an integrated approach for optimising Federated Learning (FL) communication in dynamic and heterogeneous network environments. Leveraging the modular flexibility of the Open Radio Access Network (ORAN) architecture and multiple Radio Access Technologies (RATs), we aim to enhance data transmission efficiency and mitigate client-server communication constraints within the FL framework. Our system employs a two-stage optimisation strategy using ORAN's rApps and xApps. In the first stage, Reinforcement Learning (RL) based rApp is used to dynamically select each user's optimal Radio Access Technology (RAT), balancing energy efficiency with network performance. In the second stage, a model-based xApp facilitates near-real-time resource allocation optimisation through predefined policies to achieve optimal network performance. The dynamic RAT selection and resource allocation capabilities enabled by ORAN and multi-RAT contribute to robust communication resilience in dynamic network environments. Our approach demonstrates competitive performance with low power consumption compared to other state-of-the-art models, showcasing its potential for real-time applications demanding both accuracy and efficiency. This robust and comprehensive framework, enabling clients to utilise available resources effectively, highlights the potential for scalable, collaborative learning applications prioritising energy efficiency and network performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Federated Model Search via Reinforcement Learning
Chronocooked: 강화학습 에이전트의 시간 간격 측정 능력을 위한 벤치마크
Chronocooked: A Benchmark for Interval Timing in Reinforcement Learning Agents
구간 시간 지각(interval timing)은 인간 인지의 중요한 측면으로 여겨진다. 인공 에이전트가 인간과 함께 기능하는 경우가 늘어나면서 이들의 구간 시간 지각 능력을 연구할 필요가 있다. 그러나 이 분야의 연구는 아직 제한적이고 산재해 있다. 본 논문은 강화학습(RL) 에이전트의 구간 시간 지각 능력을 체계적으로 연구할 수 있는 RL 벤치마크 환경 Chronocooked를 제시한다. 이 제품군은 심리학 문헌에서 착안한 구간 시간 지각 과제를 포함하는 요리 시나리오로 구성된다. 각 과제에는 RL 에이전트의 구간 시간 지각의 여러 측면, 즉 과제 성능, 인간과 유사한 시간 지각, 확장성을 연구하기 위한 평가 지표가 함께 제공된다. 비순환 모델(CNN), 순환 모델(LSTM), 생물학적으로 영감을 받은 순환 모델(CTRNN)을 사용한 기준선을 보고한다. CNN 모델은 기본적인 시간 지각 과제를 수행하는 능력이 제한적이었다. 반면 충분한 메모리를 갖춘 두 순환 모델은 시간 지각 과제를 성공적으로 수행했고, 고정 간격(FI) 과제에서 시간적 통제를 보였으며, 시간 이분(Temporal Bisection) 과제에서 인간과 유사한 심리측정 곡선을 정성적으로 재현했다. 그러나 인간과 유사한 시간 지각 행동에 대한 정량적 증거는 발견되지 않았다. 인공 에이전트의 구간 시간 지각에 대한 체계적인 연구는 인간-로봇 상호작용(HRI)과 같은 분야에서 과제 성능을 개선하기 위한 보완적 관점을 제공할 수 있으며, 시간 지각에 관한 더 넓은 연구에도 기여할 수 있다.
OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭
Distributed Sketching on Data Partitions for OLS Regression
본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.
StoreBench: 자율 운영자 에이전트의 평가 및 학습을 위한 라이브 커머스 환경
StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents
강화학습(RL) 환경은 이제 사후 학습(post-training)에서 대규모 언어 모델(LLM)의 역량을 향상시키는 주요 수단이 되었으나, 대부분의 에이전트 벤치마크는 여전히 정적입니다. 즉, 에이전트가 행동할 때만 환경이 변화하고, 보상은 최종적인 판정으로 주어지며, 통과 기준은 자의적으로 설정됩니다. 본 논문에서는 에이전트가 프로덕션 수준의 상거래 백엔드에서 중간 규모의 온라인 의류 매장을 운영하며 불확실성 속에서 장기 계획 수립 및 경제적 판단력을 시험받는 라이브 커머스 환경인 StoreBench를 소개합니다. 고객은 24시간 내내 주문하고, 공급업체는 가격을 재책정하거나 공급에 실패하며, 시장 충격은 부분적인 예고만 있거나 예고 없이 발생합니다. 에이전트는 실제 인간 운영자가 사용하는 것과 동일한 29개의 판매자 도구를 통해 행동하며, 취해진 행동의 함수로 시뮬레이션 시간을 계산하는 윈도우 기반 운영 예산 하에서 작동하므로 모델 지연 시간이 시뮬레이션 시간에 영향을 미칠 수 없습니다. 통과 임계값은 스크립트 기반 앵커 정책을 기준으로 보정되었고, 보상은 다양한 보상 해킹 목록에 대비해 강화되었으며, 일련의 행동이 주어지면 모든 에피소드가 동일하게 재현됩니다. 본 연구에서는 추론 노력을 일치시킨 상태에서 세 가지 월드 시드에 걸쳐 30~45일 및 시뮬레이션된 1년 전체에 해당하는 11개 시나리오를 바탕으로 7개의 프론티어 LLM을 평가합니다. 평균적으로 스크립트 기반 스마트 트리아지(smart-triage) 정책에 필적하는 모델은 없었습니다. 최고 성능을 보인 DeepSeek-V4-Pro는 휴리스틱의 97% 대비 49%의 태스크-시드 셀을 통과했습니다. 동일한 도구와 예산을 사용하여 작업한 인간 전문가는 모든 모델보다 높은 점수를 기록했습니다(평균 종합 점수 0.708 대 0.700). Claude Code 하네스 기반의 시뮬레이션된 1년 전체에 걸쳐 대다수 모델은 극적인 성능 향상을 보입니다. GRPO 사후 학습 실행에서 서로 다른 5개의 태스크로만 학습된 Qwen3.5-27B는 홀드아웃(held-out) 평가 태스크에서의 평균 종합 점수를 0.136에서 0.373으로 향상시켰습니다. 본 연구에서는 학습 분할용 예시 태스크 5개, 샘플 궤적 10개, 점수 측정 및 검증 툴링을 공개하며, 벤치마크 오염을 방지하기 위해 전체 환경과 평가 스위트는 비공개로 유지합니다.
예제 기반 프로그래밍을 위한 해결기 인식 분해: 나누려면 정복하는 법을 알아야 할 때
Solver-Aware Decompositions for Programming-by-Example: When Dividing Requires Knowing How to Conquer
분해 기반 예제 기반 프로그래밍(Programming-by-Example)은 과제를 하위 과제로 나눈다. 분해기는 중간 하위 목표를 예측하고, 학습된 합성기는 각 하위 목표에 대한 프로그램을 생성한다. 실행-분해 접근법은 분해기가 정답(GT) 하위 목표를 모방하도록 학습시키며, 그에 따라 분해의 품질을 과제만의 속성으로 취급한다. 그러나 학습된 합성기는 고유한 귀납적 편향을 가지며, GT 하위 목표는 주석 작성자가 과제를 어떻게 분해했는지를 반영할 뿐 이 합성기가 무엇을 풀 수 있는지를 반영하지 않는다. 따라서 이를 모방하는 분해기는 논리적으로는 타당하지만 합성기가 풀기 어려운 하위 목표를 제안할 수 있다. 이러한 관찰에 착안하여 우리는 해결기 인식 분해(Solver-Aware Decompositions, SAD)를 제안한다. SAD는 GT 하위 목표에 대한 지도 학습을 구조적 발판으로 유지하면서, 고정된 합성기를 상대로 자기 비판적(self-critical) 정책 경사를 이용해 분해기를 온라인으로 추가 학습시킨다. 샘플링된 각 하위 목표에는 목표 프로그램에 대한 합성기의 음의 교차 엔트로피가 보상으로 주어지며, 이는 해당 합성기에게 하위 과제가 얼마나 어려운지를 나타내는 연속적 신호이다. 실험은 정확도의 역설을 보여 준다. 합성기를 고정했을 때 GT로 지도 학습된 분해기는 GT 하위 목표와 더 자주 일치하지만, 합성기가 동일한 GT 데이터로 학습되었음에도 그 하위 목표는 더 낮은 합성 정확도로 이어진다. 두 가지 리스트 처리 도메인에서 SAD는 분포 내 및 길이 일반화 상황 모두에서 GT로 지도 학습된 분해기보다 합성 및 과제 정확도를 향상시키며, 외부 벤치마크로의 제로샷 전이와 미세 조정된 언어 모델에서도 마찬가지이다. 추론 시점에 동일한 합성기와 탐색을 사용하면서 GT 하위 목표를 제공받는 오라클조차 SAD가 해결하는 과제에서 실패하며, 이러한 과제에 대한 SAD의 해 중 GT 프로그램과 일치하는 것은 2% 미만이다. 따라서 분해의 품질은 과제의 속성이 아니라 하위 목표를 실행하는 합성기에 의존한다.
A generalizable structural brain MRI foundation model via dual-priority federated pretraining
토론
이 논문과 연결된 포럼 글이 아직 없습니다.