Local Stochastic Bilevel Optimization with Momentum-Based Variance Reduction
원문 초록
Bilevel Optimization has witnessed notable progress recently with new emerging efficient algorithms and has been applied to many machine learning tasks such as data cleaning, few-shot learning, and neural architecture search. However, little attention has been paid to solve the bilevel problems under distributed setting. Federated learning (FL) is an emerging paradigm which solves machine learning tasks over distributed-located data. FL problems are challenging to solve due to the heterogeneity and communication bottleneck. However, it is unclear how these challenges will affect the convergence of Bilevel Optimization algorithms. In this paper, we study Federated Bilevel Optimization problems. Specifically, we first propose the FedBiO, a deterministic gradient-based algorithm and we show it requires $O(\epsilon^{-2})$ number of iterations to reach an $\epsilon$-stationary point. Then we propose FedBiOAcc to accelerate FedBiO with the momentum-based variance-reduction technique under the stochastic scenario. We show FedBiOAcc has complexity of $O(\epsilon^{-1.5})$. Finally, we validate our proposed algorithms via the important Fair Federated Learning task. More specifically, we define a bilevel-based group fair FL objective. Our algorithms show superior performances compared to other baselines in numerical experiments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
vFedProtoQNAS: 가상 연합 학습을 위한 프로토타입 기반 개인화 양자 신경망 아키텍처 탐색
vFedProtoQNAS: Prototype-Guided Personalized Quantum Neural Architecture Search for Virtual Federated Learning
양자 연합 학습(Quantum Federated Learning, QFL)은 리소스가 제한된 디바이스의 분산된 개인 프라이빗 데이터를 바탕으로 소형 양자 신경망(Quantum Neural Network, QNN)을 협력적으로 학습(training)하기 위한 유망한 접근 방식으로 떠올랐습니다. 그러나 디바이스 성능의 차이로 인해 단일 공유 QNN 아키텍처를 모든 클라이언트에 일괄 적용하기는 어렵습니다. 개인화 양자 신경망 아키텍처 탐색(Quantum Neural Architecture Search, QNAS)을 사용하면 각 클라이언트가 디바이스 맞춤형 QNN을 선택할 수 있지만, 구조적으로 서로 다른 QNN 아키텍처 전반에 걸쳐 파라미터를 평균화하면 의미론적으로 일치하지 않는 회로 연산들이 섞이게 됩니다. 이를 해결하기 위해 가상 FL을 위한 프로토타입 기반 개인화 QNAS(vFedProtoQNAS)를 제안합니다. 이 방식에서는 클라이언트 간에 모델(model) 파라미터를 집계하지 않으며, 클래스별 프로토타입 공유를 통해 연합 협력을 달성합니다. 각 클라이언트는 클라이언트 맞춤형 QNN을 독립적으로 탐색 및 학습하고, 잠재 표현으로부터 클래스별 로컬 프로토타입을 계산한 후, 서버의 글로벌 프로토타입을 연합 의미 앵커(anchor)로 활용하여 이를 개선합니다. 실험을 통해 vFedProtoQNAS가 FedAvg 대비 정확도를 3.70% 향상시키고 클래스 일관적인 표현 정렬을 개선함을 입증합니다.
OrchNAS: 개인화 연합 엣지 지능을 위한 오케스트레이션 신경 아키텍처 탐색(NAS) 서비스
OrchNAS: Orchestrated Neural Architecture Search Service for Personalised Federated Edge Intelligence
본 논문은 OrchNAS를 제안한다. OrchNAS는 에너지 인식, 개인화, 연합 엣지 지능 프레임워크로, 신경 아키텍처 탐색(NAS) 서비스를 활용하여 이질적인 엣지 환경에 맞는 서비스 적응형 모델을 자동으로 설계한다. 이 프레임워크는 서버 측 NAS 서비스에서 아키텍처 탐색 과정을 조율하여, 엣지 서비스가 장치 수준의 에너지, 연산, 메모리 제약 하에서 개인화된 아키텍처를 도출할 수 있게 한다. 또한 이질적인 서비스 전반에 걸쳐 간결한 전역 표현을 학습하는 에너지 인식 전역 아키텍처 탐색 메커니즘을 도입한다. 점진적·탐욕적·에너지 인식 가지치기(pruning) 전략을 통해 각 서비스가 자원 제약을 만족하는 개인화된 서브넷을 도출할 수 있도록 하는 에너지 효율적 아키텍처 선택 메커니즘을 개발한다. 전역 표현을 보존하면서 서비스 적응형 매개변수를 갱신하는 에너지 효율적 개인화 모델 최적화(optimization) 방안을 제안하며, 원-듀얼(primal-dual) 최적화 메커니즘이 아키텍처 적응 과정에서 엄격한 에너지 예산을 강제한다. 실세계 및 벤치마크 데이터셋에서의 실험을 통해 제안 접근법의 효과를 입증한다.
이중 레벨 최적화를 위한 단일 루프 방법의 정밀 분석
Sharper Analysis of Single-Loop Methods for Bilevel Optimization
이중 레벨 최적화(bilevel optimization)는 하이퍼파라미터 최적화, 메타 학습(meta-learning), 신경망 구조 탐색(neural architecture search), 강화학습 등 다양한 머신러닝 응용의 기반이 된다. 하이퍼그래디언트(hypergradient) 기반 방법들이 크게 발전하였음에도, 이론적 보장과 효율성을 위해 요구되는 실용적인 단일 루프(single-loop) 구현 사이의 격차는 여전히 존재한다. 본 논문에서는 제안하는 분석 프레임워크인 분리 노름 분석(decoupled norm analysis, DNA)을 활용하여, 단일 루프 근사 암묵적 미분(AID)과 반복 미분(ITD) 방법의 보다 정밀한 수렴 결과를 확립함으로써 이 격차를 해소한다. AID의 경우, 수렴 속도를 $\mathcal{O}(κ^6/K)$에서 $\mathcal{O}(κ^5/K)$로 개선하였으며, 여기서 $κ$는 내부 레벨 문제의 조건수(condition number)이다. ITD의 경우, 점근 오차가 $\mathcal{O}(κ^2)$임을 증명하여 기존의 알려진 하한(lower bound)과 정확히 일치하며 이전의 $\mathcal{O}(κ^3)$ 보장을 개선하였다. 합성 및 실제 태스크에 대한 수치 실험이 이론적 결과를 뒷받침한다.
Collate: 지연 시간이 중요한 엣지 시스템을 위한 협력적 신경망 학습
Collate: Collaborative Neural Network Learning for Latency-Critical Edge Systems
연합학습(FL)은 여러 클라이언트가 협력하여 모델을 학습할 수 있도록 하여 데이터 프라이버시를 보호하면서 각 클라이언트의 학습 데이터를 확대하고 높은 정확도를 달성한다. 그러나 실시간 엣지 시스템에 FL을 배포할 때, 시스템 간 디바이스의 이질성은 추론 모델의 성능에 심각한 영향을 미친다. 기존 FL 최적화 연구들은 학습 효율성 향상에 집중하지만, 특히 지연 시간 제약이 있는 경우 추론 속도 향상에는 실패한다. 본 연구에서는 여러 엣지 시스템의 지연 시간 제약을 동시에 충족하기 위해 이질적인 모델을 협력적으로 학습하는 새로운 학습 프레임워크인 Collate를 제안한다. 각 로컬 모델의 아키텍처를 지연 시간 제약 하에서 높은 정확도로 조정하기 위한 동적 제로화-복원(zeroizing-recovering) 방법을 설계하였다. 또한, 하나의 학습 과정만으로 서로 다른 시스템의 지연 시간 제약을 만족하면서 높은 정확도를 유지하며 모든 이질적인 로컬 모델을 집계하는 프로토 보정(proto-corrected) 연합 집계 방식을 도입하였다. 광범위한 실험 결과, 최신 기법들과 비교하여 지연 시간 제약 하에서 확장된 모델은 평균 1.96%의 정확도 향상을, 축소된 모델 또한 추가적인 학습 오버헤드 없이 평균 3.09%의 정확도 향상을 달성함을 확인하였다. 관련 코드와 데이터는 https://github.com/ntuliuteam/Collate 에서 공개될 예정이다.
RABBiT: 뇌-튜닝을 통한 빠른 적응형 BOLD 기반 모델로 음성 유발 뇌 반응의 정확한 제로샷 및 퓨샷 예측
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.