PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2511.20413v2math.OC

BOCO: 의사결정 중심 온라인 학습을 위한 베이지안 온라인 문맥 최적화

BOCO: Bayesian Online Contextual Optimization for Decision-Focused Online Learning

\emph{의사결정 중심 학습}(decision-focused learning, DFL)은 예측 정확도만이 아니라 하위 의사결정을 최적화하도록 예측 모델을 학습시킨다. 최근 연구들이 이 패러다임을 스트리밍 데이터가 있는 온라인 환경으로 확장했지만, 기존의 온라인 DFL 방법은 일반적으로 점 추정치(point estimate)를 유지하며, 그래디언트 기반 업데이트를 위해 미분 가능한 최적화 층이나 문제별 대리 손실(surrogate loss)이 필요하다. 그 결과 데이터가 제한된 상황에서는 불안정할 수 있고, 이질적인 최적화 문제 전반에 적용하기도 어렵다. 본 논문에서는 모델 매개변수에 대한 의사결정 중심 사후분포(posterior)를 유지하는 프레임워크인 베이지안 온라인 문맥 최적화(Bayesian Online Contextual Optimization, \texttt{BOCO})를 제안한다. \texttt{BOCO}는 의사결정을 처방할 때 그 사후분포로부터 얻은 예측들을 집계함으로써 매개변수의 불확실성을 반영한다. 변화하는 환경에서 이 사후분포를 추적하기 위해, 미분 불가능한 문제를 위한 순차 몬테카를로(sequential Monte Carlo) 샘플러와 미분 가능한 문제를 위한 함수 공간 Stein 변분 경사하강법(function-space Stein variational gradient descent) 알고리즘, 두 가지 입자 기반 추론 알고리즘을 개발한다. 두 가지 실제 과제 모두에서 \texttt{BOCO}는 두 가지 빈도주의(frequentist) 온라인 DFL 기준선 대비 누적 평균 후회(running mean regret)와 시간적 후회 변동성(temporal regret variability)을 줄인다. 전체 구간(full horizon)에서 최고 성능의 빈도주의 기준선과 비교했을 때, BOCO는 누적 평균 후회와 시간적 후회 변동성을 배낭 문제(knapsack)에서 각각 6.9%와 6.3%, 에너지 스케줄링에서 각각 49.3%와 38.1% 감소시킨다. 이러한 이득은 데이터 스트림 초반에 더 크게 나타나며, 이는 데이터가 제한적일 때 매개변수 불확실성을 반영하는 것이 이점이 된다는 점과 부합하는 양상이다.