결정 중심 학습(Decision-focused learning, DFL)은 단독 예측 정확도가 아니라 하위(downstream) 의사결정 품질을 최적화하여 예측 모델을 학습시키는 방법이다. 맥락적 선형 최적화(contextual linear optimization)의 경우, 기존 DFL 방법 대부분은 오프라인 데이터와 목적 비용 벡터(cost vector)에 대한 완전한 관측을 가정한다. 본 연구에서는 표준 밴딧(bandit) 피드백 설정을 일반화하여, 부분 피드백 하에서의 순차적 맥락적 선형 최적화를 위한 온-정책(on-policy) 학습 방법을 개발한다. 이 방법은 조건부 분포에서 비용 벡터 예측을 샘플링하고 그 결과로 생성된 하위 선형 최적화 문제를 해결하는 확률적 예측 후 최적화(predict-then-optimize) 정책을 학습한다. 이 분포 모델을 업데이트하기 위해, 두 가지 구성 요소로 이루어진 하이브리드 그래디언트(gradient) 추정기를 도입한다. 첫 번째 구성 요소는 점수 함수(score function) 추정기로, 불편(unbiased)이지만 분산이 클 수 있는 정책 그래디언트(policy gradient) 추정값을 제공한다. 두 번째 구성 요소는 결정 중심 플러그인(plug-in) 구성요소로, 잠재 비용 벡터에 대한 보조적인 nuisance 추정값을 이용해 하위 최적화 구조를 활용하며, 이 추정값이 개선될수록 더 많은 정보를 제공하게 된다. 평균 제곱 정책 그래디언트 노름(norm)에 대해 O(T^-1/2) 경계를 증명하며, 이는 표준 비convex SGD의 수렴 속도와 일치한다. top-k 선택, 최단 경로, 조합 가격결정(combinatorial pricing), 그리고 실제 데이터 기반 에너지 스케줄링 벤치마크에서의 실험 결과, 밴딧 피드백 하에서 이 하이브리드 그래디언트 접근법은 네 가지 벤치마크 모두에서 맥락적 밴딧(contextual bandit) 베이스라인보다, 그리고 세 가지 벤치마크에서 선형 톰슨 샘플링(linear Thompson sampling)보다 더 낮은 평균 누적 후회(regret)를 달성하며, 더 풍부한 조건부 생성 비용 모델(conditional generative cost model)에서도 작동함을 보인다. 코드는 https://github.com/Joeyetinghan/on-policy-bandit-dfl 에서 확인할 수 있다.
본 논문에서는 공변량 특징 공간의 교란으로 인한 예측 변화를 고려하는 smart predict-then-optimize 접근법의 강건 변형을 제안하고 이를 연구한다. 전통적인 학습-최적화 통합 모델은 부가 정보가 완벽하게 공개된다고 가정하지만, 실증적 데이터 기반 특징은 의사결정 시점에 빈번하게 손상되거나 노이즈가 포함되어 취약한 운영 정책을 초래한다. 이 격차를 메우기 위해 smart predict-then-robustly optimize 손실을 통해 강건 최적화 원칙을 예측-처방 파이프라인에 직접 통합하고, 최악의 경우 특징 perturbation에 대비하도록 설계된 계산적으로 처리 가능한 볼록 대리(surrogate)를 확립한다. 이론적으로는 sub-Gaussian 농도(concentration) 프로파일에 따라 근사 오차 확률이 지수적으로 감소함을 증명하여 이 대리의 구조적 타당성을 형식화한다. 또한 완화된 가정 하에서 이 대리가 높은 확률로 Fisher 일관(Fisher consistent)임을 확립한다. 우리는 또한 본 프레임워크가 표준 smart predict-then-optimize를 능가하는 필요 조건을 증명하고, 표준 방법에 정규화된 상류 예측이 적용되어 있을 때에도 우월성을 유지함을 보인다. 수치 실험은 강건 프레임워크가 표준 방법 대비 out-of-sample 성능과 학습 안정성 모두에서 일관되게 유의미한 성능 향상을 달성함을 검증한다.
예측 후 최적화(Predict-then-optimize) 시스템은 일반적으로 불확실성을 점 예측(point forecast)으로 압축한 뒤, 해당 예측이 신뢰 가능한 것처럼 가정하고 다운스트림 최적화 문제를 풀어낸다. 분포 강건 최적화(DRO, Distributionally Robust Optimization)는 잘못된 명세(misspecification)에 대한 보호를 제공하지만, 모호성 집합(ambiguity set)은 흔히 과거 샘플을 중심으로 하며 고정된 반지름을 사용한다. 본 논문에서는 학습된 예측적 모호성 집합(LPAS, learned predictive ambiguity sets)을 제안한다: 심층 컨텍스트 모델이 유한한 명목 시나리오 분포, 상태 의존적 와서스테인(Wasserstein) 반지름, 그리고 선택적으로 비등방성 기저 거리(anisotropic ground metric)를 출력한다. 이 출력들은 DRO 의사결정 층에 공급되는 컨텍스트 모호성 집합을 정의한다. 반지름은 조건부 분위수 보정, 크기 정규화, 그리고 다운스트림 의사결정 손실의 조합으로 학습되어, 강건성이 전역 고정값이 아닌 적응적으로 조정된다. 의사결정 층에서 사용되는 유한 쌍대 형식(finite dual form)을 유도하고, 단계적 학습 알고리즘을 제시하며, 2018년부터 2026년까지의 S&P 500 구성 종목 20개를 대상으로 한 분포 강건 포트폴리오 최적화에서 방법론을 평가한다. 제안된 방법은 동일 가중치, 예측 후 최적화, 과거 와서스테인 DRO 기준선을 크게 상회하며, 26.28%의 연환산 수익률, 샤프 비율 1.30, 최종 자산 1.61을 달성하고, 더 작은 평균 반지름을 사용하면서도 심층 고정 반지름 DRO 기준선보다 낮은 테일 손실을 기록한다. 결과는 학습된 모호성 반지름이 불필요한 보수성을 줄이고 레짐 적응성(regime adaptivity)을 개선하면서 강력한 고정 반지름 DRO의 성능 대부분을 회복할 수 있음을 보여준다.
예측-후-최적화(predict-then-optimize) 시스템에서 예측 설명이 실제 운영 가치와 괴리될 수 있다는 문제를 해결하기 위해, Shapley 값 기반의 결정 가치 귀인(DVA) 프레임워크를 제안하며 피처, 설계 매개변수, 그 상호작용에 각각 운영 목표 단위로 가치를 분해하는 InfoDVA, DesignDVA, DVI 세 가지 변형을 정의한다. 전력 저장 차익 거래 및 응급 의료 서비스 커버리지 사례 연구를 통해, 예측 중요도와 결정 중요도가 실질적으로 다를 수 있음을 보이고 DVA가 정보 제어 개입과 최적화 설계 선택을 안내할 수 있음을 실증한다.
예측-최적화-설명(POE) 프레임워크에서 기울기 기반 샘플 생성으로 지정된 포트폴리오 결과를 유발하는 거시경제 조건의 입력 분포를 만들어 포트폴리오 모델을 해석한다. 예측 후 최적화(PTO)와 예측과 최적화(PAO) 간 수익 격차, 분산 대 집중 배분, 시장 국면별 성능, 벤치마크 수익 달성 등 경제적 가정 질문으로 예측 모델과 포트폴리오 최적화가 결합된 의사결정 파이프라인을 특성 중요도 방식과 달리 직접 탐색할 수 있음을 보였다.
우리는 모델 출력이 이후 선형 최적화 작업의 계수로 사용되는 predict-then-optimize 패러다임에서 예측(머신러닝) 모델을 학습하기 위한 확장 가능한 방법을 제안한다. 선형 계획법과 조합 최적화에서 경험적 의사결정 regret을 직접 최소화하는 것은 의사결정 매핑이 구간별 상수이고 그래디언트가 거의 모든 곳에서 0이기 때문에 처리하기 어렵다. 기존 방법은 미분 과정을 평활화하여 이 문제를 해결하지만, 매 그래디언트 평가마다 계산 비용이 큰 솔버 호출이 필요하므로 확장성 문제를 겪는다. 이를 해결하기 위해, 우리는 측도 변환(measure transformation) 원리에 기반한 의사결정 중심 학습(decision-focused learning) 파이프라인을 제안하며, 이는 학습 중 최적화 솔버가 전혀 필요 없는 새로운 대리 손실(surrogate loss)을 산출한다. Fisher consistency와 excess risk bound를 포함한 이론적 보장을 확립한다. 실험적으로, 우리 방법은 최신(state-of-the-art) 방법과 경쟁력 있는 의사결정 품질을 달성하면서 학습 시간을 orders of magnitude만큼 단축한다.
강건 최적화(robust optimization)는 최악의 시나리오에 대해 최적화하여 불확실성으로부터 의사결정을 보호하지만, 그 효과는 종종 임의로 선택되는 사전 지정된 강건성 수준에 달려 있어, 보호가 불충분하거나 지나치게 보수적이고 비용이 많이 드는 해결책으로 이어지곤 합니다. 컨포멀 예측(conformal prediction)을 사용하는 최근 접근법들은 유한 표본 커버리지 보장을 갖는 데이터 기반 불확실성 집합을 구성하지만, 여전히 사전에 커버리지 목표를 고정하고 강건성 수준 선택에 대한 거의 안내를 제공하지 못합니다. 우리는 모든 강건 예측-후-최적화(predict-then-optimize) 정책 계열에 대해 미스커버리지(miscoverage)와 리그릿(regret) 모두에 대해 분포 무관(distribution-free)이고 유한 표본(finite-sample)인 보장을 제공하는 새로운 프레임워크를 제안합니다. 우리의 방법은 미스커버리지-리그릿 파레토 프론티어(Pareto frontier)를 추적하는 유효한 추정기를 구성하여, 의사결정자가 비용-위험 선호도에 따라 강건성 수준을 신뢰할 수 있게 평가하고 보정할 수 있게 합니다. 이 프레임워크는 구현이 간단하고 고전적인 최적화 공식 전반에 걸쳐 광범위하게 적용 가능하며, 더 우수한 유한 표본 성능을 달성합니다. 본 논문은 강건성 선택을 안내하는 원칙적인 데이터 기반 방법론을 제공하며, 실무자들이 고위험 의사결정에서 강건성과 보수성 사이의 균형을 맞출 수 있도록 지원합니다.