PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.01081v2cs.LG

부분 피드백 환경에서의 맥락적 선형 최적화를 위한 결정 중심 온-정책 학습

Decision-Focused On-Policy Learning for Contextual Linear Optimization with Partial Feedback

결정 중심 학습(Decision-focused learning, DFL)은 단독 예측 정확도가 아니라 하위(downstream) 의사결정 품질을 최적화하여 예측 모델을 학습시키는 방법이다. 맥락적 선형 최적화(contextual linear optimization)의 경우, 기존 DFL 방법 대부분은 오프라인 데이터와 목적 비용 벡터(cost vector)에 대한 완전한 관측을 가정한다. 본 연구에서는 표준 밴딧(bandit) 피드백 설정을 일반화하여, 부분 피드백 하에서의 순차적 맥락적 선형 최적화를 위한 온-정책(on-policy) 학습 방법을 개발한다. 이 방법은 조건부 분포에서 비용 벡터 예측을 샘플링하고 그 결과로 생성된 하위 선형 최적화 문제를 해결하는 확률적 예측 후 최적화(predict-then-optimize) 정책을 학습한다. 이 분포 모델을 업데이트하기 위해, 두 가지 구성 요소로 이루어진 하이브리드 그래디언트(gradient) 추정기를 도입한다. 첫 번째 구성 요소는 점수 함수(score function) 추정기로, 불편(unbiased)이지만 분산이 클 수 있는 정책 그래디언트(policy gradient) 추정값을 제공한다. 두 번째 구성 요소는 결정 중심 플러그인(plug-in) 구성요소로, 잠재 비용 벡터에 대한 보조적인 nuisance 추정값을 이용해 하위 최적화 구조를 활용하며, 이 추정값이 개선될수록 더 많은 정보를 제공하게 된다. 평균 제곱 정책 그래디언트 노름(norm)에 대해 O(T^-1/2) 경계를 증명하며, 이는 표준 비convex SGD의 수렴 속도와 일치한다. top-k 선택, 최단 경로, 조합 가격결정(combinatorial pricing), 그리고 실제 데이터 기반 에너지 스케줄링 벤치마크에서의 실험 결과, 밴딧 피드백 하에서 이 하이브리드 그래디언트 접근법은 네 가지 벤치마크 모두에서 맥락적 밴딧(contextual bandit) 베이스라인보다, 그리고 세 가지 벤치마크에서 선형 톰슨 샘플링(linear Thompson sampling)보다 더 낮은 평균 누적 후회(regret)를 달성하며, 더 풍부한 조건부 생성 비용 모델(conditional generative cost model)에서도 작동함을 보인다. 코드는 https://github.com/Joeyetinghan/on-policy-bandit-dfl 에서 확인할 수 있다.

arXiv:2609.35013v2cs.AI

향상된 에너지 소비 예측을 위한 자동화된 특징 엔지니어링, AutoML 및 의사결정 중심 학습

Automated Feature Engineering, AutoML, and Decision-Focused Learning for Improved Energy Consumption Forecasting

에너지 비용 및 수요의 증가와 환경 지속가능성 목표는 에너지 관리에 큰 과제를 안겨주고 있습니다. 에너지 소비 예측(ECF)은 미래 소비량을 예측함으로써 계획 수립을 지원하지만, ECF를 위한 머신러닝(ML) 모델은 종종 전문가 주도의 특징 엔지니어링(FE)에 의존합니다. 본 학위논문은 세 가지 기여를 통해 이러한 의존성을 해결합니다. 첫째, ECF를 위한 포괄적인 FE 파이프라인을 구축 및 평가하고 도메인 특화 특징을 조사합니다. 둘째, 타임스탬프와 지연된 소비량으로부터 해석 가능한 특징을 생성하고 엔드투엔드 ECF 모델링을 위해 AutoML과 통합되는 도메인 맞춤형 자동화 FE 알고리즘인 AutoEnergy를 도입합니다. 주거용, 상업용, 산업용, 재생 가능 에너지 및 그리드 도메인에 걸친 18개의 실제 에너지 데이터셋 전반에서 AutoEnergy는 기준선(baseline) AutoML 및 기존의 자동화된 FE 방식 대비 예측 오차를 19.52%-84.72% 감소시키는 동시에 1.31-4.41배 더 빠르게 실행되었으며, 개선 폭은 데이터셋에 따라 상이했습니다. 셋째, 배터리 에너지 저장 시스템 문제에 대해 AutoEnergy를 의사결정 중심 학습(DFL)과 통합하여, 충전 및 방전 결정을 최적화하는 동시에 전기 요금과 수요를 공동으로 예측합니다. 실제 영국 부동산 데이터셋에서 이 접근법은 자동화된 FE가 없는 동일한 DFL 모델과 비교하여 운영 비용을 22.9%-56.5% 절감합니다. 전반적으로 이러한 결과는 도메인 특화 자동화 FE가 수작업 특징 설계에 대한 의존도를 줄이고 예측 정확도를 향상시키며, 예측 성능의 이점을 에너지 관리에서의 측정 가능한 운영상 이익으로 전환할 수 있음을 보여줍니다.

arXiv:2511.20413v2math.OC

BOCO: 의사결정 중심 온라인 학습을 위한 베이지안 온라인 문맥 최적화

BOCO: Bayesian Online Contextual Optimization for Decision-Focused Online Learning

\emph{의사결정 중심 학습}(decision-focused learning, DFL)은 예측 정확도만이 아니라 하위 의사결정을 최적화하도록 예측 모델을 학습시킨다. 최근 연구들이 이 패러다임을 스트리밍 데이터가 있는 온라인 환경으로 확장했지만, 기존의 온라인 DFL 방법은 일반적으로 점 추정치(point estimate)를 유지하며, 그래디언트 기반 업데이트를 위해 미분 가능한 최적화 층이나 문제별 대리 손실(surrogate loss)이 필요하다. 그 결과 데이터가 제한된 상황에서는 불안정할 수 있고, 이질적인 최적화 문제 전반에 적용하기도 어렵다. 본 논문에서는 모델 매개변수에 대한 의사결정 중심 사후분포(posterior)를 유지하는 프레임워크인 베이지안 온라인 문맥 최적화(Bayesian Online Contextual Optimization, \texttt{BOCO})를 제안한다. \texttt{BOCO}는 의사결정을 처방할 때 그 사후분포로부터 얻은 예측들을 집계함으로써 매개변수의 불확실성을 반영한다. 변화하는 환경에서 이 사후분포를 추적하기 위해, 미분 불가능한 문제를 위한 순차 몬테카를로(sequential Monte Carlo) 샘플러와 미분 가능한 문제를 위한 함수 공간 Stein 변분 경사하강법(function-space Stein variational gradient descent) 알고리즘, 두 가지 입자 기반 추론 알고리즘을 개발한다. 두 가지 실제 과제 모두에서 \texttt{BOCO}는 두 가지 빈도주의(frequentist) 온라인 DFL 기준선 대비 누적 평균 후회(running mean regret)와 시간적 후회 변동성(temporal regret variability)을 줄인다. 전체 구간(full horizon)에서 최고 성능의 빈도주의 기준선과 비교했을 때, BOCO는 누적 평균 후회와 시간적 후회 변동성을 배낭 문제(knapsack)에서 각각 6.9%와 6.3%, 에너지 스케줄링에서 각각 49.3%와 38.1% 감소시킨다. 이러한 이득은 데이터 스트림 초반에 더 크게 나타나며, 이는 데이터가 제한적일 때 매개변수 불확실성을 반영하는 것이 이점이 된다는 점과 부합하는 양상이다.

arXiv:2607.05830v1cs.LG

Decision-Focused Scenario Generation and Selection for Efficient and Robust Grid Dispatch

재생에너지와 유연 수요의 불확실성이 증가함에 따라, 기존의 정확도 중심 시나리오 생성 방식이 하류 운영 비용 최적화에 비효율적임을 지적하며, VAE·GAN·확산 모델 등 주류 생성 모델에 적용 가능한 결정 중심(decision-focused) 시나리오 생성·선택 프레임워크를 제안한다. 버스 간 공간 상관관계를 포착하는 결합 분포 모델링과 미분 가능한 시나리오 선택기를 통해 분포적 강건 최적화(DRO) 기반 전력망 디스패치의 운영 비용을 기존 방법 대비 0.80%–2.02% 절감하는 성과를 달성하였다.

arXiv:2606.21773v1cs.LG

의사결정 중심 학습: 전통적 예측 모델이 실패하는 시점과 이유

Decision-Focused Learning: When and Why Traditional Prediction Models Fail

알려지지 않은 매개변수에 대한 예측을 하류 최적화 문제에 연결하는 방식은, 흔히 '예측 후 최적화(predict-then-optimize)' 패러다임으로 불리며, 불확실성 하에서의 의사결정에서 오랫동안 표준 접근법이었다. 그러나 예측 정확도가 향상된다고 해서, 일반적으로 더 나은 의사결정 품질로 이어지지는 않는다. 이러한 단절은 운영연구(operations research) 커뮤니티 내에서 의사결정 중심 학습(DFL)에 대한 관심 증가를 촉발했다. 본 튜토리얼은 DFL의 최근 발전을 검토하고 핵심 방법론적 통찰을 강조하며, 하류 의사결정 문제로서 확률적 선형 계획법(stochastic linear programming)에 특히 초점을 맞춘다. 우리는 전통적 통계 학습에서 널리 사용되는 여러 도구가 의사결정 중심 설정에 직접 적합하지 않으며 재고가 필요한 이유를 논의한다. 여기에는 (i) 순수하게 예측 불확실성에 의해 주도되는 데이터 수집 전략과 (ii) Wasserstein 거리와 같은 분포 간 거리 측도가 포함된다. 우리는 DFL이 기존 예측 모델링과 구별되는 성질을 요약하고, 새로운 의사결정 중심 도구 개발에 대한 통찰을 제공한다.

arXiv:2606.19587v1stat.ML

Predict-then-Optimize를 위한 솔버-프리 학습 방법

A Solver-Free Training Method for Predict-then-Optimize

우리는 모델 출력이 이후 선형 최적화 작업의 계수로 사용되는 predict-then-optimize 패러다임에서 예측(머신러닝) 모델을 학습하기 위한 확장 가능한 방법을 제안한다. 선형 계획법과 조합 최적화에서 경험적 의사결정 regret을 직접 최소화하는 것은 의사결정 매핑이 구간별 상수이고 그래디언트가 거의 모든 곳에서 0이기 때문에 처리하기 어렵다. 기존 방법은 미분 과정을 평활화하여 이 문제를 해결하지만, 매 그래디언트 평가마다 계산 비용이 큰 솔버 호출이 필요하므로 확장성 문제를 겪는다. 이를 해결하기 위해, 우리는 측도 변환(measure transformation) 원리에 기반한 의사결정 중심 학습(decision-focused learning) 파이프라인을 제안하며, 이는 학습 중 최적화 솔버가 전혀 필요 없는 새로운 대리 손실(surrogate loss)을 산출한다. Fisher consistency와 excess risk bound를 포함한 이론적 보장을 확립한다. 실험적으로, 우리 방법은 최신(state-of-the-art) 방법과 경쟁력 있는 의사결정 품질을 달성하면서 학습 시간을 orders of magnitude만큼 단축한다.

arXiv:2606.19199v1cs.LG

중요한 요소 예측하기: 알려지지 않은 출발 시간을 갖는 제어형 EV 충전을 위한 의사결정 중심 강화학습

Forecasting what Matters: Decision-Focused RL for Controlled EV Charging with Unknown Departure Times

최근 전기차(EV) 도입의 증가는 전력 시스템에 피크 수요 증가 및 잠재적 계통 불안정성을 포함한 도전 과제를 야기합니다. 전기차 충전의 스마트 제어(예: 강화학습(RL) 기반)는 과거 데이터에서 시간적 및 문맥적 패턴을 학습함으로써 이러한 문제를 완화할 수 있습니다. 그러나 실제 시나리오에서는 출발 시간과 같은 주요 특징을 종종 사용할 수 없습니다. 이는 차례로 RL 에이전트가 효과적인 충전 정책을 학습하고 실행하는 것을 더 어렵게 만듭니다. 이러한 불확실성을 완화하기 위해, 학습된 예측 모델(forecaster)이 사용 가능한 데이터로부터 알려지지 않은 특징을 근사할 수 있습니다. 그러나 이러한 예측 모델들은 일반적으로 정확도를 위해 학습되기 때문에(하류 에이전트의 의사결정 품질에 미치는 영향이 아님), 그 오류가 전파되어 예측을 사용하는 컨트롤러의 전체 성능을 저해할 수 있습니다. 이를 방지하기 위해, 우리는 예측 모델이 엔드투엔드로, 즉 RL 에이전트가 취하는 충전 정책 행동으로부터의 피드백을 통해 학습되는 의사결정 중심 강화학습(DF-RL) 프레임워크를 제안합니다. 예측 모델과 컨트롤러 모두의 이러한 공동 학습은 궁극적으로 더 높은 품질의 행동으로 이어집니다: 제안된 DF-RL 방법은 다른 기준선(baseline)에 비해 우수한 충전 결정을 산출하며, 출발 시간 예측 없는 RL 방법 대비 총 보상에서 최대 14%의 향상과 미공급 에너지(즉, 전기차가 이미 떠나서 발생하지 않은 충전)의 55% 감소를 달성했습니다.