한국어 초록
연합 이중 수준 최적화는 프라이버시 및 통신 제약 하에서 연합 하이퍼파라미터 튜닝 및 메타학습과 같은 분산 클라이언트에 걸친 중첩된 학습 문제에 널리 사용됩니다. 대부분의 기존 정식화는 고정된 클라이언트 데이터 분포를 가정하지만, 이는 수행성(Performativity)에 의해 위반될 수 있습니다. 수행성이란 배포된 의사결정이 클라이언트 행동과 데이터 수집을 재형성하여, 클라이언트별 의사결정 종속 분포 변화를 유발하는 현상입니다. 우리는 상위 수준(UL) 및 하위 수준(LL) 목적 함수가 모두 클라이언트 종속 및 의사결정 종속 분포 하에서 평가되는 연합 이중 수준 수행적 예측을 연구합니다. 우리는 분리된 위험(decoupled-risk) 관점 하에서 연합 이중 수준 수행적 안정점(FBPS)을 형식화하고, 그 존재성과 유일성에 대한 충분 조건을 제공합니다. 그 후 우리는 FBPS 해를 계산하기 위한 두 가지 연합 방법을 개발했습니다: 수축 조건 하에서 선형 수렴하는 FBi-RRM과, 민감도가 충분히 작을 때 점감하는 스텝 사이즈 하에서 수렴이 보장되는 연합 하이퍼그라디언트 추정에 기반한 통신 효율적인 확률적 방법인 FBi-SGD입니다. 전략적 회귀 및 메타 전략적 분류에 대한 실험은 예측된 안정성 임계값을 검증하고 비수행적(non-performative) 기준선 대비 향상된 메타 일반화를 입증합니다. 또한 CNN 기반 분류는 비볼록 신경망 설정에서 제안된 방법들의 실질적 효과를 추가로 보여줍니다.
원문 초록
Federated bilevel optimization is widely used for nested learning problems across distributed clients, such as federated hyperparameter tuning and meta-learning under privacy and communication constraints. Most existing formulations assume fixed client data distributions, which can be violated by performativity, where deployed decisions reshape client behavior and data collection, inducing client-specific, decision-dependent distribution shift. We study federated bilevel performative prediction, where both upper-level (UL) and lower-level (LL) objectives are evaluated under client-dependent, decision-dependent distributions. We formalize the federated bilevel performatively stable (FBPS) point under a decoupled-risk perspective and provide sufficient conditions for its existence and uniqueness. We then develop two federated methods to compute the FBPS solution: FBi-RRM, which converges linearly under a contraction condition, and FBi-SGD, a communication-efficient stochastic method based on federated hypergradient estimation with convergence guarantees under diminishing step sizes when sensitivities are sufficiently small. Experiments on strategic regression and meta strategic classification validate the predicted stability thresholds and demonstrate improved meta-generalization over non-performative baselines, and CNN-based classification further demonstrates the practical effectiveness of the proposed methods in nonconvex neural network settings.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19734v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
영차 잔차 추적을 통한 부분 정보 확률적 최적화
Partially Informed Stochastic Optimization via Zeroth-Order Residual Tracking
많은 최적화(optimization) 문제에서는 그래디언트(gradient)의 일부에만 직접 접근할 수 있으며, 나머지 성분은 함수 평가를 통해 추론해야 합니다. 이러한 구조는 수행적 예측(performative prediction), 수행적 강화학습(performative reinforcement learning), 그리고 블랙박스 하위 레벨을 갖는 이단계 최적화(bilevel optimization)에서 발생합니다. 본 논문에서는 사용 가능한 그래디언트 성분과 잔차의 이동 추정치를 결합하는 부분 정보 확률적 최적화(Partially Informed Stochastic Optimization, PISO)를 제안합니다. PISO는 각 영차(zeroth-order) 관측을 이 추정치 중심으로 정렬함으로써, 무작위 탐침으로 인한 분산이 잔차의 크기가 아닌 추적 오차에 의존하도록 만듭니다. 이를 통해 명시적인 수축 메커니즘과 모멘텀(momentum)에 대한 원리적 해석을 갖춘 무작위 스케치 반복(iteration)을 도출합니다. 매끄러운 비볼록 목적 함수에 대해, 접근 불가능한 그래디언트 성분에 대한 균일한 경계를 요구하지 않으면서 잔차의 변동과 초기 크기에 의존하는 수렴(convergence) 보장을 확립합니다. 독립적으로 샘플링된 함수 평가와 가우시안 또는 구면 탐침을 사용할 때, PISO는 립시츠 그래디언트 조건에서 \(O(d^{2}\varepsilon^{-6})\), 추가적인 립시츠 헤시안(Hessian) 가정 하에서는 \(O(d^{2}\varepsilon^{-5})\)의 우수한 함수 평가 복잡도를 달성합니다. 이러한 수렴 속도는 업데이트당 단 하나의 탐침 방향, 두 개의 함수 샘플, 그리고 하나의 기지 성분 샘플만을 필요로 합니다. 또한 본 분석은 배치 처리를 통해 배포 횟수를 줄이는 대신 관측치를 교환하는 방식을 정량화합니다. 다섯 가지 설정 전반에서, PISO 변형들은 세 가지 설정에서 유사한 오라클 접근을 갖는 테스트된 베이스라인 대비 성능을 향상시키고, 이단계 라우팅에서는 유사한 해에 더 빠르게 도달하며, 수행적 강화학습에서는 반응 모델(response-model)의 도함수가 없는 방법 중 가장 뛰어난 성능을 보입니다.
노이즈가 있는 선호도 레이블 하에서의 메타데이터 없는 메타 재가중 직접 선호 최적화
Metadata-Free Meta-Reweighted Direct Preference Optimization under Noisy Preference Labels
직접 선호 최적화(DPO)는 명시적인 보상 모델링과 강화학습 최적화의 필요성을 제거하기 때문에 대규모 언어 모델(LLM)을 인간의 선호도에 정렬하는 중요한 방법으로 자리잡았습니다. 그러나 성능은 선호도 데이터의 품질에 크게 의존하며, 실제 환경에서의 노이즈가 있는 선호도 데이터는 정렬 성능을 약화시킬 수 있습니다. 이 문제를 해결하기 위해 우리는 이중 수준 최적화(bilevel optimization) 프레임워크를 제안하고, 특정 가정 하에서 이 프레임워크가 깨끗한 데이터에서의 DPO 최적값을 복원할 수 있음을 증명합니다. 또한 비대칭 레이블 플리핑(label-flipping) 노이즈 하에서 학습 가능한 가중 함수에 대한 사전 형태(prior form)를 유도합니다. 고품질 메타데이터를 얻기 어려울 수 있다는 점을 고려하여, 메타데이터가 완전히 없는 경우에도 메타학습을 가능하게 하는 태스크 불가지론적(task-agnostic) 메타 지식 기반 방법을 제안합니다. LLM 메타학습에서 고차 그래디언트의 높은 비용을 줄이기 위해, 중심 차분 근사(central-difference approximation)와 LoRA 미세조정을 결합하여 확장 가능한 학습 체계를 개발합니다. TL;DR 요약과 Anthropic HH 단일 턴 대화에 대한 실험에서 제안된 방법이 다양한 노이즈 비율 하에서 여러 DPO 기준선(baseline) 대비 학습 성능을 향상시킴을 보여줍니다.
이중 레벨 최적화를 위한 단일 루프 방법의 정밀 분석
Sharper Analysis of Single-Loop Methods for Bilevel Optimization
이중 레벨 최적화(bilevel optimization)는 하이퍼파라미터 최적화, 메타 학습(meta-learning), 신경망 구조 탐색(neural architecture search), 강화학습 등 다양한 머신러닝 응용의 기반이 된다. 하이퍼그래디언트(hypergradient) 기반 방법들이 크게 발전하였음에도, 이론적 보장과 효율성을 위해 요구되는 실용적인 단일 루프(single-loop) 구현 사이의 격차는 여전히 존재한다. 본 논문에서는 제안하는 분석 프레임워크인 분리 노름 분석(decoupled norm analysis, DNA)을 활용하여, 단일 루프 근사 암묵적 미분(AID)과 반복 미분(ITD) 방법의 보다 정밀한 수렴 결과를 확립함으로써 이 격차를 해소한다. AID의 경우, 수렴 속도를 $\mathcal{O}(κ^6/K)$에서 $\mathcal{O}(κ^5/K)$로 개선하였으며, 여기서 $κ$는 내부 레벨 문제의 조건수(condition number)이다. ITD의 경우, 점근 오차가 $\mathcal{O}(κ^2)$임을 증명하여 기존의 알려진 하한(lower bound)과 정확히 일치하며 이전의 $\mathcal{O}(κ^3)$ 보장을 개선하였다. 합성 및 실제 태스크에 대한 수치 실험이 이론적 결과를 뒷받침한다.
프라이버시를 고려한 협력적 분산 베이지안 최적화
Privacy-Aware Collaborative and Distributed Bayesian Optimization
우리는 원시 데이터 교환 없이 중앙 집중식 성능에 부합하는 분산 베이지안 최적화(Bayesian optimization)를 위한 협력적 메타학습(meta-learning) 프레임워크를 제안한다. 그래디언트 공유가 클라이언트 관측값을 유출하며, 탐색이 수렴하고 쿼리가 최적점 근방에 집중될수록 유출이 심화됨을 보인다. 차등 프라이버시(differential privacy) 방어 기법을 평가하고 그 프라이버시-유용성 트레이드오프를 분석한다.
신경망 구조 탐색을 위한 이중 수준 최적화
Bilevel Optimization for Neural Architecture Search
이중 수준 최적화(bilevel optimization)는 기계학습의 계층적 최적화 문제를 다루는 데 있어 영향력 있고 널리 채택된 프레임워크로 자리잡았으며, 두 수준의 최적화 간 상호작용을 모델링하는 효과적인 접근 방식을 제공한다. 하이퍼파라미터 튜닝, 메타 학습(meta-learning), 적대적 학습(adversarial training), 데이터 포이즈닝(data poisoning) 등이 그 응용 사례에 해당한다. 하이퍼파라미터 최적화의 하위 분야인 신경망 구조 탐색(NAS, Neural Architecture Search)은 이중 수준 최적화 문제의 대표적인 예로, 외부 수준에서 구조 파라미터를, 내부 수준에서 네트워크 가중치를 최적화한다. 본 논문은 이중 수준 최적화의 관점에서 NAS에 대한 체계적인 개요를 제시한다. 기존 NAS 접근법을 두 가지 주요 범주로 분류하는데, 하나는 다양한 구조 샘플러(architecture sampler)를 사용하여 최적 구조를 탐색하는 샘플링 기반 방법이고, 다른 하나는 이중 수준 최적화 원리를 활용하여 구조 탐색 문제를 해결하는 이중 수준 이론 기반 방법이다. 나아가 보조 수학적 프로그래밍(auxiliary mathematical programming) 프레임워크를 통해 이중 수준 NAS 정식화를 다루는 현재 연구 방향을 소개한다. 이 프레임워크는 모델의 학습 손실 함수로부터 2차 정보를 체계적으로 통합하고, 구조 파라미터를 수정하는 동안 모델 파라미터의 최적성을 보장한다. 보조 수학적 프로그램에서 도출된 각각의 최적 하강 방향을 따라 구조 파라미터와 모델 파라미터를 동시에 갱신함으로써, 이러한 방법들은 보다 원칙적이고 이론적으로 일관된 결과를 달성한다. 동일한 보조 프로그램은 하이퍼파라미터와 모델의 동시 미세조정에도 활용될 수 있다. 비교 분석 결과, 이중 수준 이론 기반 접근법이 정확도와 효율성 모두에서 샘플링 기반 방법보다 일반적으로 우수한 성능을 보임을 확인하였다.
Targeted Data-driven Regularization for Out-of-Distribution Generalization
토론
이 논문과 연결된 포럼 글이 아직 없습니다.