arXiv:2405.19463

Stochastic Optimization Algorithms for Instrumental Variable Regression with Streaming Data

Xuxing Chen, Abhishek Roy, Yifan Hu, Krishnakumar Balasubramanian

제출 2024-05-29

원문 초록

We develop and analyze algorithms for instrumental variable regression by viewing the problem as a conditional stochastic optimization problem. In the context of least-squares instrumental variable regression, our algorithms neither require matrix inversions nor mini-batches and provides a fully online approach for performing instrumental variable regression with streaming data. When the true model is linear, we derive rates of convergence in expectation, that are of order $\mathcal{O}(\log T/T)$ and $\mathcal{O}(1/T^{1-\iota})$ for any $\iota>0$, respectively under the availability of two-sample and one-sample oracles, respectively, where $T$ is the number of iterations. Importantly, under the availability of the two-sample oracle, our procedure avoids explicitly modeling and estimating the relationship between confounder and the instrumental variables, demonstrating the benefit of the proposed approach over recent works based on reformulating the problem as minimax optimization problems. Numerical experiments are provided to corroborate the theoretical results.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.22329v1cs.NE공통 태그 regression, Stochastic Optimization

블랙박스 최적화에서 대리 모델로서의 인공 신경망

Artificial Neural Networks as Surrogate Models in Black Box Optimization

블랙박스 최적화(Black-Box Optimization, BBO)는 여러 공학 분야에서 흔히 적용되며, 수치 측정 및 시뮬레이션 기술의 발전을 활용할 수 있다. 이는 해석적 기술(analytical description)이 존재하지 않는 최적화 함수를 다룬다. 이 방법은 탐색 공간 내의 입력점과, 센서, 실험, 시뮬레이션 등 비해석적 수단을 통해 얻어진 해당 목적 함수 값의 쌍만을 필요로 하는 방법에 의존한다. 일반적인 접근법으로는 진화적 최적화(evolutionary optimization)와 기타 메타휴리스틱(metaheuristics)이 있다. BBO 방법은 목적 함수 값에만 의존하기 때문에 일반적으로 많은 평가(evaluation)를 필요로 하며, 이는 목적 함수를 평가하는 데 시간이 많이 걸리거나 비용이 많이 드는 경우 문제가 된다. 이로 인해 선택된 실제 목적값을 평가하고 탐색 공간 전체에 걸쳐 목적 함수를 근사하는 회귀 모델을 학습시키는 대리 기반 최적화(surrogate-based optimization)를 사용하게 된다. 대리 모델 지원 블랙박스 최적화는 소량 데이터 학습(small-data learning) 문제인데, 이는 옵티마이저가 제한된 평가로부터 비용이 큰 목적 함수를 근사해야 하기 때문이다. 대리 모델은 데이터 효율적인 회귀자(regressor) 역할을 하며, 제한된 평가 예산(evaluation budget) 하에서 유망하거나 정보성이 높은 지점으로 탐색을 유도한다. 본 논문에서는 목적 함수의 선택적 평가를 위해 인공 신경망을 사용하는 새로운 대리 모델인 적응적 충실도 넥서스 공분산 행렬 적응 진화 전략(Adaptive-Fidelity Nexus Covariance Matrix Adaptation Evolution Strategy, AFN-CMA-ES)을 제안한다. 실험 결과는 최신(state-of-the-art) 대리 모델 지원 BBO 방법들과 비교하여 경쟁력 있는 성능을 보여준다.

arXiv:2607.22906v1cs.LG공통 태그 regression, Stochastic Optimization

하강 방향으로부터 학습: 일방 Hölder 정칙성 하의 적응형 경사하강법

Learning from the Descent Direction: Adaptive Gradient Descent under One-Sided Hölder Regularity

연속 미분 가능하고 비볼록일 수 있는 목적함수에 대해, 일방 Hölder 정칙성 하에서 적응형 경사하강법을 연구한다. 고전적인 Hölder 또는 Lipschitz 그래디언트 가정과 달리, 후자는 전체 그래디언트 변화를 제어하는 반면, 우리의 조건은 하강 부등식에 나타나는 방향 항만을 제한한다. 이는 그래디언트 변화가 크더라도 업데이트 방향에 직교하거나, 그 방향을 따라 유리한 경우 보다 덜 보수적인 스텝 크기를 허용할 수 있다. 양의 일방 Hölder 곡률 추정에 기반한 적응형 스칼라 스텝 방법을 제안하며, 이를 간단한 충분 감소(sufficient-decrease) 보호 장치와 결합한다. 수용된 업데이트 구간을 포함하는 볼록 영역 위의 비볼록 목적함수에 대해, Hölder 지수에 의해 결정되는 명시적 최적 반복 정류(stationarity) 한계를 증명한다. 미리 정해진 감소 스텝 크기 스킴과 달리, 이 방법은 국소 하강 기하에 적응한다. 방향 곡률과 전체 그래디언트 변화를 분리하도록 설계된 두 개의 풀 배치(full-batch) 벤치마크에서 접근법을 평가한다. 이진 분류 문제에서, 이 방법은 비교된 스칼라 그래디언트 방법들 중 최종 교차 엔트로피, 목적함수 값, 그래디언트 노름이 가장 낮고, 분류 마진이 가장 크다. 비볼록 Hölder 회귀 문제에서, 최종 목적함수 간극과 그래디언트 노름이 가장 낮다. 이 결과는 전체 그래디언트 변화가 하강을 방해하지 않는 방향으로 인해 부풀려질 때, 일방 Hölder 곡률이 효과적인 적응형 스텝 크기 신호임을 시사한다.

arXiv:2607.11938v1cs.LG공통 태그 regression, Stochastic Optimization

데이터 과학의 수학

Mathematics of Data Science

이 책은 데이터 과학의 수학적 기초에 관한 것이다. 1. 서론 2. 고차원에서의 저주, 축복, 그리고 놀라움 3. 특이값 분해(SVD)와 주성분 분석(PCA) 4. 선형 회귀와 정규화 5. 그래프, 네트워크, 그리고 클러스터링 6. 비선형 차원 축소와 확산 맵(Diffusion Maps) 7. 랜덤 투영을 통한 선형 차원 축소 8. 데이터 과학을 위한 최적화 9. 분류 10. 심층 학습의 수학적 소개 11. 그래프 라플라시안의 대표본 극한 12. 커뮤니티 13. 측도 집중과 가우시안 분석 14. 행렬 집중 부등식 15. 압축 센싱과 희소성 16. 저계수 행렬 복원

arXiv:2608.23986v4math.OC공통 태그 Stochastic Optimization

지능의 그림자 가격: LLM 추론에서의 품질 저하와 재시도 피드백

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

대규모 언어 모델 제공자는 연산 자원이 제약되어 있으며, 혼잡에 대한 일반적인 대응은 서비스를 저하시키는 것이다. 즉, 질의를 더 작은 모델로 라우팅하거나, 추론 예산을 줄이거나, 컨텍스트 윈도를 단축한다. 만족스럽지 못한 답을 받은 사용자는 재시도하여 시스템이 바쁜 동안 부하를 늘리거나, 이탈하여 잠재적으로 고객 이탈로 이어진다. 우리는 추론 서비스를 서비스 품질이 제공자의 의사결정인 제어 문제로 모델링한다. 재시도를 서비스율에 포함한 2국면 유체 근사는 닫힌 형태의 궤적과 교차 시간을 제공하므로, 품질 등급에 대한 동적 계획법에 시뮬레이션이 필요하지 않다. 우리는 더 약한 등급이 작업당 에너지는 덜 쓰지만 작업당 용량은 더 쓰는 영역을 규명하고, 유체 모델에서 그러한 등급으로의 반응적 스로틀링이 큐가 해소되지 못하게 할 수 있음을 보인다. 이질적인 고객이 있는 경우 이 문제는 재시도로 부풀려진 용량 계수를 갖는 수송 문제가 되며, 최적 라우팅은 $c\mu$ 유형의 지수를 따르고, 용량 제약의 쌍대는 클래스와 시간별로 질의 하나를 더 처리하는 한계 비용을 제공한다. 우리는 공개 벤치마크 데이터로 보정한 다섯 가지 사례에서 이 방법을 예시한다.

arXiv:2610.13590v2math.OC공통 태그 Stochastic Optimization

강볼록 집합 상의 무작위화 선형 오라클 최적화에 대한 하한

Lower Bounds for Randomized Linear-Oracle Optimization over Strongly Convex Sets

최근 결과들[arXiv:2602.04378, arXiv:2602.22608]은 강볼록 집합 위의 최적화에 대한 하한을 각각 특정 Frank-Wolfe 갱신과 제한 없는 결정론적 1차 선형 최소화 오라클(LMO) 방법에 대해 확립하였다. 어느 쪽도 제한 없는 무작위화 방법에 대한 하한은 확립하지 못한다. 우리는 최종 출력이 모든 인스턴스와 시드에서 실현 가능해야 한다는 조건 하에, 강볼록 집합 위의 무작위화 1차 LMO 방법에 대해 오라클 호출 $T$회 후 $\Omega(L\operatorname{diam}(S)^2/T^2)$ 분포적 하한을 증명함으로써 이 간극을 메운다. 우리의 구성은 [arXiv:2602.22608]의 족을 재사용하지만, 증명은 적응적 질의 이후 숨겨진 순열의 조건부 분포를 규명하고 최적화기 분산을 제어하는 조합적 통계량의 기대 감소량에 대한 상계를 제시한다. 또한 동일한 오차 임계값이 적어도 $3/4$의 확률로 성립하며 정지 시간 꼬리 한계를 도출함을 보인다. 우리의 구성은 [arXiv:2602.22608]과 동일한 곡률-지름 결합을 사용한다. 상계 [arXiv:1406.1305]와의 비교는 이 결합을 반드시 고려해야 한다. 별도로, 규정된 느린 정확 직선 탐색 Frank-Wolfe 궤적이 충분히 작은 초기화 오차를 국소적으로 증폭할 수 있음을 보이며, 이는 반복당 대략 1비트의 추가 초기화 정확도에 해당한다. 또한 특정한 최종 느린 포락선을 만족하는 초기화는 평면 측도가 0임을 보인다.

arXiv:2607.12775v3math.OC공통 태그 Stochastic Optimization

시나리오 기반 모델 예측 제어의 학습 기반 가속

Learning-enabled Acceleration of Scenario-based Model Predictive Control

시나리오 기반 모델 예측 제어(SBMPC)는 여러 예측 시나리오에 걸쳐 제어 입력을 최적화함으로써 불확실성을 명시적으로 고려하는 모델 예측 제어(MPC)의 한 변형이다. 그러나 계산 복잡도가 시나리오 수와 예측 구간에 따라 급격히 증가하여 실시간 계획 및 제어에의 적용이 제한된다. 본 논문은 병렬 계산과 Moreau 포락선 학습을 활용하여 높은 해의 정확도를 유지하면서 SBMPC 문제를 효율적으로 풀기 위한 학습 가속 교대 방향 승수법(ADMM) 알고리즘을 제시한다. 우리는 SBMPC 문제를 ADMM으로 분해할 수 있는 합의 형태로 재구성하여, 시나리오 의존적 동역학을 비예측성 제약으로부터 분리하고 시나리오와 시간 단계에 걸친 병렬 갱신을 가능하게 한다. 이 분해를 바탕으로, 비용 함수의 Moreau 포락선 학습을 활용하는 learning-to-optimize 기법으로 ADMM의 주 변수 갱신을 가속하여 계산 시간을 줄인다. 제안한 프레임워크는 부하와 재생에너지 발전의 불확실성을 갖는 마이크로그리드 에너지 관리 문제에서 평가된다. 대표적인 최신 비선형 계획법 솔버인 IPOPT 및 MadNLP와의 비교에서, 신뢰할 수 있는 폐루프 제어 성능을 유지하면서 상당한 계산 속도 향상을 보였다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.