PyTorchKR Papers

업데이트된 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2304.04308v2cs.LG공식 코드 · Papers with Code

시계열 예측을 위한 앙상블 모델링: 적응적 강건 최적화 접근

Ensemble Modeling for Time Series Forecasting: an Adaptive Robust Optimization Approach

정확한 시계열 예측은 시간적 데이터를 다루는 많은 문제에서 매우 중요하다. 앙상블 모델링은 여러 예측 모형을 활용하여 정확도와 강건성을 높이는 확립된 기법이며, 이는 기저 데이터 분포의 변화로 인해 단일 예측기의 성능이 크게 달라질 수 있기 때문이다. 본 논문은 시계열 예측 모형의 강건한 앙상블을 구축하는 새로운 방법론을 제안한다. 우리의 접근법은 적응적 강건 최적화(Adaptive Robust Optimization, ARO)를 사용하여 모형 가중치가 시간에 따라 적응하는 선형 회귀 앙상블을 구성한다. 드리프트가 없는 경우부터 급격한 체제 전환까지 여덟 가지 교란 시나리오를 다루는 합성 실험과, 대기 오염 관리, 에너지 소비 예측, 열대 저기압 강도 예측을 포함한 실제 응용을 통해 제안 방법의 효과를 입증한다. 실제 응용에서 우리의 적응적 앙상블은 사후적으로 최선인 앙상블 구성원보다 평균 제곱근 오차(RMSE)에서 16-26%, 15% 수준의 조건부 위험가치(CVaR)에서 14-28% 더 우수하며, 비교한 다른 앙상블 방법들에 비해 대부분의 지표에서 개선된다. 합성 실험에서는 여덟 개 시나리오 중 일곱 개에서 롤링 릿지(rolling-ridge) 비교 모형보다 평균 RMSE가 낮고 그중 네 개에서는 유의하게 낮은 반면, 모형 선택 이후에 처음 나타나는 급격한 체제 전환은 여전히 한계로 남는다.

arXiv:2505.17965v3math.OC공식 코드 · Papers with Code

확률적 경사 하강법의 편향 최적 경계

Bias-Optimal Bounds for Stochastic Gradient Descent

확률적 경사 하강법(SGD)의 비점근적 분석은 일반적으로 편향 항과 분산 항으로 분해되는 경계를 제공한다. 본 연구에서는 편향 성분에 초점을 맞추어 SGD가 결정론적 경사 하강법의 최적 수렴 거동을 어느 정도까지 따라갈 수 있는지를 연구한다. 목적함수의 (강)볼록성과 매끄러움만을 가정하여, 상수 스텝 크기 $\gamma L \in (0,2)$의 전 범위에 대한 새로운 경계를 도출한다. 이는 볼록 및 강볼록 경우 모두에서 추가적인 분산 가정 없이는 이전에 탐구되지 않았던 임계 및 큰 스텝 크기 영역을 포함한다. 이 경계들은 모든 비임계 스텝 크기에 대해 편향 항이 경사 하강법의 최악 경우 수렴률과 일치한다는 의미에서 편향 최적이다. 임계 스텝 크기의 경우 최적 편향 항을 갖는 경계는 얻을 수 없지만, 이 최적 편향을 임의로 가깝게 근사할 수 있음을 보인다. 즉각적인 응용으로서, 정則성 가정 없이 확률적 근접 알고리즘에 대한 새로운 복잡도 경계를 제시한다.

arXiv:2505.01353v3math.OC공식 코드 · Papers with Code

미분 가능한 비선형 모델 예측 제어

Differentiable Nonlinear Model Predictive Control

매개변수적 해 민감도의 효율적인 계산은 학습 강화 방법을 비선형 모델 예측 제어와 통합하는 데 있어 핵심 과제이며, 이는 많은 학습 알고리즘에서 민감도의 가용성이 필수적이기 때문이다. 본 논문은 음함수 정리와 내점법(IPM)에서 다루는 평활화된 최적성 조건을 이용하여 일반 비선형 계획법의 해 민감도를 계산하는 방법을 논한다. 장벽 매개변수가 지정된 비음수 목표값에 접근하도록 허용하여 SQP와 IPM 이차계획법(QP) 풀이기를 일반화하고, 이 목표값이 0일 때 고전적 SQP를 복원하는 순차 장벽 이차계획법(sequential barrier quadratic programming, SBQP)을 도입한다. 기존 연구는 볼록 또는 제약 없는 정식화에 한정되거나 효율적인 민감도 평가를 위한 구현이 부족하다. 본 발표는 `acados` 프레임워크 내의 효율적인 오픈소스 구현을 동반하며, 일반 최적 제어 문제에 대해 순방향 및 수반(adjoint) 민감도를 모두 제공하고 최신 풀이기인 `mpc.pytorch` 및 `cvxpygen` 대비 3배를 넘는 속도 향상을 달성한다.

arXiv:2407.04259v4math.OC공식 코드 · Papers with Code

유한 모델 불확실성 하의 Q-러닝

Q-Learning under Finite Model Uncertainty

각 상태–행동 쌍이 후보 전이 커널의 유한한 모호성 집합과 연관된 경우, 모델 불확실성 하의 마르코프 결정 과정을 위한 강건 Q-러닝 알고리즘을 제안한다. 이러한 유한 측도 프레임워크는 경쟁하는 적합 모델과 스트레스 시나리오를 포함하여 사용자가 설계한 불확실성 모델을 가능하게 한다. {학습자는 전이 확률이나 보상 함수에 대한 명시적 지식 없이, 모든 후보 시뮬레이터로부터 후속 상태와 그에 대한 결정론적 보상을 관측한다.} 학습된 Q-함수가 강건 최적해로 거의 확실하게 수렴함을 증명하고, 관측 가능한 경험적 벨만 잔차와 전이 커널 추정 오차를 분리하는 시간 균등 고확률 오차 보증을 도출한다. 또한 유한 상태 공간에서 바서슈타인 및 모수적 불확실성 모델에 대한 정량적 유한 모호성 근사 결과를 제시한다. 수치 예제를 통해 시나리오 선택의 효과를 보이고, 표 형태 알고리즘을 강건 가치 반복법과 비교한다.

arXiv:2502.10353v3cs.CY공식 코드 · Papers with Code

선택을 통한 매칭: 환자–제공자 배정을 위한 메뉴 설계

Matching with Choice: Menu Design for Patient--Provider Assignment

환자와 1차 진료 제공자 사이의 고품질 매칭은 후속 건강 결과를 개선하지만, 제공자의 이직은 이러한 매칭을 깨뜨리고 환자를 재배정하도록 만든다. 이 문제에 직면한 보건 시스템은 어떤 제공자를 추천할지뿐 아니라 얼마나 많은 선택권을 제공할지도 결정해야 한다. 직접 배정은 부족한 제공자 수용 능력을 둘러싼 경쟁을 피하지만 잡음이 있는 환자 선호 추정에 의존한다. 더 넓은 선택권은 환자가 사적 정보를 이용해 이러한 추정을 바로잡을 수 있게 하지만 비용이 큰 조정 실패를 초래할 수 있다. 우리는 환자가 제공자를 선택하는 고정된 개인화 메뉴의 설계를 통해 이 상충 관계를 연구한다. 최적 메뉴를 구성하는 것이 NP-난해임을 보이고 정보 이론적 하한을 제시한다. 각 환자에게 단일 제공자를 제시하면 상수 배 이내로 이 하한에 부합하는 반면, 제한 없는 선택은 임의로 나쁜 성능을 보일 수 있음을 확인한다. 그러나 시스템이 환자의 대안들을 신뢰성 있게 구분할 수 없을 때는 추가적인 선택권이 단일 제공자 배정보다 성과를 개선함을 보인다. 우리는 이 상충 관계를 두 가지 형태의 손실, 즉 메뉴가 너무 적은 선택지를 제공할 때 발생하는 메뉴 손실과 부족한 수용 능력이 너무 많은 선택에 노출될 때 발생하는 조정 손실로 정식화한다. 이러한 분해에 착안하여, 제공자의 쉐도우 가격에 따라 메뉴를 맞춤화해 효용이 수용 능력 비용을 초과할 때만 선택권을 제공하는 시나리오 평균 한계(Scenario-Averaged Marginals, SAM) 알고리즘을 개발한다. 우리는 SAM의 후회(regret)가 하한과 일치하는 충분 조건, 즉 환자에게 가치 있는 대안이 있고 제시된 메뉴가 부족한 수용 능력을 둘러싼 경쟁을 만들지 않는 경우를 규명한다. 메디케어 데이터를 이용해 제공자 네트워크에 맞춰 보정한 반합성 환경에서, SAM은 선호 불확실성이 커질수록 단일 제공자 배정 대비 총 효용을 최대 19% 향상시키는 동시에, 서비스를 가장 적게 받는 우편번호 지역의 효용도 개선한다.

arXiv:2506.20533v5stat.ML공식 코드 · Papers with Code

강건한 부분공간 복원을 위한 반복 재가중 최소제곱법의 전역 수렴성

Global Convergence of Iteratively Reweighted Least Squares for Robust Subspace Recovery

강건한 부분공간 추정은 많은 기계학습 및 데이터 분석 과제의 기본이다. 반복 재가중 최소제곱법(IRLS)은 이 문제에 대한 우아하고 경험적으로 효과적인 접근법이지만, 그 이론적 성질은 아직 잘 이해되지 않고 있다. 본 논문은 결정론적 조건 하에서 동적 평滑 정규화를 사용하는 IRLS 변형이 임의의 초기값에서 출발하여 기저 부분공간으로 선형적으로 수렴함을 증명한다. 우리는 이러한 보장을 기존 복원 이론이 없던 아핀 부분공간 추정으로 확장한다. 또한 저차원 신경망 학습에 적용하여 IRLS의 실용적 이점을 보인다. 본 결과는 강건한 부분공간 복원에서 IRLS에 대한 최초의 전역 수렴 보장을 제공하며, 더 넓게는 리만 다양체 상의 비볼록 IRLS에 대한 최초의 보장이기도 하다.