PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.01081v2cs.LG

부분 피드백 환경에서의 맥락적 선형 최적화를 위한 결정 중심 온-정책 학습

Decision-Focused On-Policy Learning for Contextual Linear Optimization with Partial Feedback

결정 중심 학습(Decision-focused learning, DFL)은 단독 예측 정확도가 아니라 하위(downstream) 의사결정 품질을 최적화하여 예측 모델을 학습시키는 방법이다. 맥락적 선형 최적화(contextual linear optimization)의 경우, 기존 DFL 방법 대부분은 오프라인 데이터와 목적 비용 벡터(cost vector)에 대한 완전한 관측을 가정한다. 본 연구에서는 표준 밴딧(bandit) 피드백 설정을 일반화하여, 부분 피드백 하에서의 순차적 맥락적 선형 최적화를 위한 온-정책(on-policy) 학습 방법을 개발한다. 이 방법은 조건부 분포에서 비용 벡터 예측을 샘플링하고 그 결과로 생성된 하위 선형 최적화 문제를 해결하는 확률적 예측 후 최적화(predict-then-optimize) 정책을 학습한다. 이 분포 모델을 업데이트하기 위해, 두 가지 구성 요소로 이루어진 하이브리드 그래디언트(gradient) 추정기를 도입한다. 첫 번째 구성 요소는 점수 함수(score function) 추정기로, 불편(unbiased)이지만 분산이 클 수 있는 정책 그래디언트(policy gradient) 추정값을 제공한다. 두 번째 구성 요소는 결정 중심 플러그인(plug-in) 구성요소로, 잠재 비용 벡터에 대한 보조적인 nuisance 추정값을 이용해 하위 최적화 구조를 활용하며, 이 추정값이 개선될수록 더 많은 정보를 제공하게 된다. 평균 제곱 정책 그래디언트 노름(norm)에 대해 O(T^-1/2) 경계를 증명하며, 이는 표준 비convex SGD의 수렴 속도와 일치한다. top-k 선택, 최단 경로, 조합 가격결정(combinatorial pricing), 그리고 실제 데이터 기반 에너지 스케줄링 벤치마크에서의 실험 결과, 밴딧 피드백 하에서 이 하이브리드 그래디언트 접근법은 네 가지 벤치마크 모두에서 맥락적 밴딧(contextual bandit) 베이스라인보다, 그리고 세 가지 벤치마크에서 선형 톰슨 샘플링(linear Thompson sampling)보다 더 낮은 평균 누적 후회(regret)를 달성하며, 더 풍부한 조건부 생성 비용 모델(conditional generative cost model)에서도 작동함을 보인다. 코드는 https://github.com/Joeyetinghan/on-policy-bandit-dfl 에서 확인할 수 있다.