Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties
원문 초록
Distributed sensors in the internet-of-things (IoT) generate vast amounts of sparse data. Analyzing this high-dimensional data and identifying relevant predictors pose substantial challenges, especially when data is preferred to remain on the device where it was collected for reasons such as data integrity, communication bandwidth, and privacy. This paper introduces a federated quantile regression algorithm to address these challenges. Quantile regression provides a more comprehensive view of the relationship between variables than mean regression models. However, traditional approaches face difficulties when dealing with nonconvex sparse penalties and the inherent non-smoothness of the loss function. For this purpose, we propose a federated smoothing proximal gradient (FSPG) algorithm that integrates a smoothing mechanism with the proximal gradient framework, thereby enhancing both precision and computational speed. This integration adeptly handles optimization over a network of devices, each holding local data samples, making it particularly effective in federated learning scenarios. The FSPG algorithm ensures steady progress and reliable convergence in each iteration by maintaining or reducing the value of the objective function. By leveraging nonconvex penalties, such as the minimax concave penalty (MCP) and smoothly clipped absolute deviation (SCAD), the proposed method can identify and preserve key predictors within sparse models. Comprehensive simulations validate the robust theoretical foundations of the proposed algorithm and demonstrate improved estimation precision and reliable convergence.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FedIncome: 데이터 주권 제약 하의 디지털 대출 소득 추정을 위한 연합학습
FedIncome: Federated Learning for Income Estimation in Digital Lending Under Data Sovereignty Constraints
디지털 대출 신청에서는 검증된 소득 정보를 확인할 수 없는 경우가 많아, 대출 기관이 신고 소득에 의존하게 되고 이로 인해 과대 대출, 지나치게 보수적인 대출 조건 제시, 또는 상환 능력이 있는 신청자에 대한 거절로 이어질 수 있습니다. 기관 간 데이터 공유 제약은 학습 데이터가 제한적인 소규모 대출 기관에 이 문제를 특히 어렵게 만듭니다. 본 논문에서는 기관들이 원시 차입자 기록을 하나로 모으지 않고도 공유 모델을 학습할 수 있도록 하는 소득 추정용 연합학습(federated learning) 프레임워크인 FedIncome을 소개합니다. 100만 건 이상의 LendingClub 대출을 $50$개 주(state) 단위 클라이언트로 분할하여 이질적인 대출 컨소시엄을 시뮬레이션합니다. 최고 성능의 연합학습 모델은 시간 외(out-of-time) $R^2=0.608$을 달성하였으며, 이는 풀링(pooling)된 중앙집중식 벤치마크의 $0.619$와 비교됩니다. 소규모 표본 클라이언트는 풀링된 중앙집중식 벤치마크 대비 시간 외 $R^2$가 평균 $3.8$퍼센트포인트 향상되었으며, 적합된 클라이언트 수준 관계에 따르면 이 설정에서 경험적 교차점은 약 $4,790$개의 학습 관측치로 나타났습니다. 풀링이 불가능하고 적절한 대안이 로컬 전용 학습인 경우, 연합학습은 모든 표본 크기 그룹에서 시간 외 성능을 향상시키며, 데이터가 부족한 클라이언트에서 가장 큰 향상을 보입니다. 또한 연합학습으로 추정한 소득을 주(state) 및 소득별 부채상환비율(debt-to-income) 임계값과 결합하였습니다. 회고적 의사결정 분석에서 신고 소득을 연합학습 추정치로 대체하면, 관측된 부도율의 변화는 소폭에 그치면서 시뮬레이션된 승인율이 증가합니다. FedIncome은 풀링 학습 대비 전체적인 손실(loss)은 거의 없이, 로컬 전용 추정 대비로는 더 큰 향상을 제공하며 데이터 지역성 제약 하에서의 협력 학습을 지원합니다.
적대적으로 견고한 연합 회귀의 그래디언트 이질성 역학
On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
연합 학습(FL)은 본질적으로 이질적이다. 정직한 클라이언트는 서로 다른 데이터 생성 모델을 가질 수 있다. 게다가 적대적 클라이언트는 임의의 업데이트를 공유함으로써 이질성을 더욱 두드러지게 만들 수 있다. 기존 분석은 일반적으로 그래디언트 불유사도 조건을 통해 통계적 이질성과 적대적 행동 간의 상호작용을 통제한다. 그러나 근본적인 상계는 사전에 부여되며, 최소제곱 회귀에서조차 보수적인 보장을 줄 수 있다. 우리는 대신 매 라운드마다 새로운 데이터 샘플을 사용하는 선형 및 비선형 회귀의 통계 모델로부터 그래디언트 이질성을 유도한다. 우리의 상계는 정직한 클라이언트의 ground-truth 모델 매개변수 간 이질성, 유한 표본 레이블 노이즈, 초기화를 분리한다. 그런 다음 계수 $\kappa = O(f/n)$을 갖는 임의의 $(f,\kappa)$-견고 집계기(aggregator)에 대해, $f$는 적대적 클라이언트 수, $n$은 전체 클라이언트 수($f/n < 1/2$)일 때, 명시적인 샘플 burn-in 이후 수렴이 성립함을 보인다.
조건부 분포의 유연한 추정을 위한 병렬 그래디언트 부스팅
Parallel gradient boosting for flexible estimation of conditional distributions
부스팅은 표준 분류 및 회귀 작업에서 가장 성공적인 학습 기법 중 하나이다. 다중 출력 예측 문제로의 확장은 최근 몇 년간 점점 더 많은 응용을 찾고 있다. 그중 하나는 단일 함수형량이 아닌 전체 조건부 분포의 예측이며, 이는 종종 다중 출력 회귀 문제로 표현될 수 있다. 예를 들어 다중 분위수 회귀(multiple quantile regression)가 그렇다. 이러한 문제를 부스팅의 고전적 구현으로 다루는 것은 계산적으로 어렵다. 왜냐하면 보통 매 반복마다 각 목표(target)마다 하나의 기저 모델을 학습하기 때문이다. 학습 속도를 높이기 위해 더 효율적인 부스팅 변형들이 제안되었지만, 이들은 특정 손실 함수와 기저 학습기(base learner) 클래스, 보통 의사결정 트리에 종속되는 경향이 있다. 본 연구에서는 이러한 한계를 모두 우회하도록 설계된, 그래디언트 부스팅 알고리즘의 수정 버전인 병렬 그래디언트 부스팅(parallel gradient boosting)을 연구한다. 핵심 아이디어는 모든 학습 관측치에 대해 공통의 하강 방향(descent direction)을 사용하는 것이다. 이를 통해 목표의 수와 관계없이 각 반복마다 하나의 기저 모델만 필요하므로 상당한 성능 향상을 얻을 수 있다. 본 연구는 알고리즘의 수렴에 대한 충분 조건을 확립하며, 다중 분위수 회귀 설정을 통해 실용적 사용을 소개한다. 이러한 설정에서 본 방법은 XGBoost와 같은 최신 부스팅 라이브러리와 유사한 품질의 예측을 제공하면서도 수량급으로 더 빠름을 보인다. 그다음, 우리는 결과적으로 얻어지는 조건부 분포 추정량의 성질을 평가하며, 이 추정량은 특히 고차원 설정과 혼합 및/또는 결측 공변량이 존재하는 경우 다른 비모수 및 준모수 추정량들보다 우수함이 경험적으로 입증된다.
사후 및 모델 내 불확실성을 반영한 학습 기반 확률적 부하 예측
Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty
스마트 빌딩 부하 예측기는 종종 조밀한 다변량 고빈도 데이터로 오프라인 학습되지만, 배포 시에는 시간당 단위의 특징이 제한된 입력만 제공될 수 있다. 누락된 특징은 재구성해야 하며, 그 오류는 모델을 통해 전파될 수 있다. 이 입력 불확실성이 반영되지 않으면 예측 구간이 부정확하게 보정되어 수요 반응(demand-response) 스케줄링에 영향을 미칠 수 있다. 본 연구는 추론 입력이 재구성된 이후 불확실성을 어디에 배치해야 하는지를 검토한다. 우리는 시간 해상도를 맞추고, 사용할 수 없는 입력을 재구성하며, 인과적 특징을 도출하는 통합 1일 선행 확률 예측 프레임워크를 개발하고, 모듈식 사후 잔차 분위수 방식과 통합 모델 내 분위수 학습 방식을 비교한다. 비교에는 세 가지 중규모 심층 학습(DL) 백본—순환형, 하이브리드 순환형, 어텐션 기반 시간 융합 트랜스포머(Temporal Fusion Transformer, TFT) 모델—이 동일한 입력, 예측 시계, 전처리 규칙, 학습 예산 하에서 사용된다. 결과는 불확실성 배치가 백본에 따라 달라짐을 보여준다. 통합 분위수 학습은 TFT에서 가장 신뢰할 만하며, 라벨이 있는 테스트 기간에서 2.2-3.6% MAPE와 28-83W RMSE를 달성하고, 명목 커버리지 수준에 가장 근접한 수준에서 모듈식 구간보다 약 5배 좁은 구간을 생성한다. Diebold-Mariano 검정은 TFT 순위와 순환형 백본의 혼합적 동작을 뒷받침한다. 재구성 민감도 테스트는 재구성된 입력이 분위수 점수(QS)를 106% 증가시키지만 구간 폭은 거의 변하지 않음을 보여주며, 이는 모델이 재구성으로 인한 불확실성을 자동으로 흡수하지 않음을 나타낸다. 비DL 기준선 및 계절별 홀드아웃 주차에 대한 견고성 검증은 이 순위를 뒷받침한다. 본 연구 결과는 추론이 재구성된 입력에 의존할 때 사후 잔차 분위수의 한계를 드러낸다.
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
실시간 금융 예측은 오래되었거나 사용할 수 없는 정보를 사용하지 않으면서 시간 프레임 간 비동기적인 봉 완성을 동기화해야 한다. 우리는 HARN(Hierarchical Associative Resonance Network)을 소개한다. 이는 각 이벤트를 설정된 가장 세밀한 시간 프레임에 고정하고, 시간 수준 전반에 걸쳐 지속적 상태와 행렬 값 연상 메모리를 유지하는 이벤트 기반 아키텍처이다. 타임스탬프 마스킹 전이는 완성된 봉의 타임스탬프가 현재 앵커와 일치할 때만 해당 수준을 갱신하여, 비활성 표현을 보존한다. HARN은 인과적 다중 스케일 인코딩, 잔차 기반 게이트 연상 쓰기, 전수 교차 수준 공명, 순서화된 상향식 증거 집계를 통합하여 각 시간 수준에서 예측을 생성한다. 예측은 베이시스 포인트 변화로 표현되며 평가를 위해 가격 스케일로 복원된다. 우리는 주식, 외환, 금에 걸친 네 가지 자산(AAPL, EURUSD, USDCHF, XAUUSD)에서 시간순 70/15/15 분할, 32봉 룩백, 1단계 예측 구간, 세 개의 랜덤 시드를 사용하여 HARN을 평가한다. HARN은 네 자산 모두에서 평가된 단일 시간 프레임 PatchTST 및 TimeXer 기준선보다 낮은 앵커 시간 프레임 테스트 평균 절대 오차(MAE)를 얻는다. HARN의 MAE는 각각 0.508, 0.000306, 0.000263, 2.552이며, PatchTST는 2.074, 0.000759, 0.000638, 9.563, TimeXer는 2.882, 0.010838, 0.014144, 15.297을 기록한다. 이러한 기술적 비교는 입력, 목표 정식화 또는 학습 절차의 차이로부터 아키텍처의 효과를 분리하지 못한다. AAPL과 EURUSD에 대한 단일 실행 구성요소 절제 실험은 작고 비단조적인 차이를 보인다. 이 결과는 비동기 다중 시간 프레임 예측에 대한 HARN의 실현 가능성을 보여주는 한편, 상대적 이점과 구성요소 기여를 규명하기 위한 통제된 비교와 더 폭넓은 절제 실험의 필요성을 시사한다.
미관측 교란 변수에 강건한 위험 점수 학습
Learning Risk Scores Robust to Unobserved Confounders
미관측 교란의 영향을 받는 역사적 관찰 데이터로부터, 희소 자원이나 개입 대상 개인의 우선순위를 정하기 위한 위험 점수를 학습하는 문제를 다룬다. 누가 희소 자원을 받을지에 대한 결정은 설문 응답과 같이 기록된 특성에 기반한 위험 점수에 의해 종종 안내된다. 이러한 위험 점수는 개인의 특성, 배분 결정, 결과에 대한 역사적 기록인 관찰 데이터로부터 직접 학습되는 경우가 점점 늘고 있다. 역사적 배분 정책이 도입한 바이어스를 보정하는 역 성향 가중치(inverse propensity weighting, IPW)와 같은 표준 방법은, 역사적 결정 과정이 기록된 특성으로 완전히 설명될 수 있다면 정확한 위험 점수를 학습하는 데 사용될 수 있다. 그러나 실무에서는 역사적 결정이 종종 기록되지 않은 정보에 의존하여, 학습된 위험 점수가 과거 우선순위를 이끌었던 기록되지 않은 상황을 가진 개인들을 정확히 체계적으로 과소 우선순위화하게 만든다. IPW를 기반으로, 이러한 종류의 미관측 교란에 강건한 위험 점수를 학습하는 방법을 제안한다. 미관측 교란 하에서는 성향 가중치를 신뢰할 수 있게 추정할 수 없으므로, 대신 관측 가능한 데이터와 교란 정도에 대한 도메인 정보 기반 추정치로 결정되는 불확실성 집합에 속하는 것으로 취급하며, 인과 추론(causal inference)의 민감도 분석(sensitivity analysis)과 Wasserstein 분포적 강건 최적화(Wasserstein distributionally robust optimization)를 결합한다. 그 결과 강건 위험 점수 학습 문제는 표본 기반 근사를 허용하며, 이를 기성 솔버와 호환되는 지수 원뿔 프로그램(exponential cone program)으로 재공식화한다. UCI Machine Learning Repository의 데이터셋에서 파생된 반합성(semi-synthetic) 데이터에서 접근법의 효과를 입증한다. 제안 방법은 다른 지표를 손상하지 않으면서, 전통적 벤치마크 대비 보정(calibration)을 최대 29.2%까지, 최신(state of the art) 대비 최대 11.1%까지 개선한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.