Conservative Contextual Bandits: Beyond Linear Representations
원문 초록
Conservative Contextual Bandits (CCBs) address safety in sequential decision making by requiring that an agent's policy, along with minimizing regret, also satisfies a safety constraint: the performance is not worse than a baseline policy (e.g., the policy that the company has in production) by more than $(1+\alpha)$ factor. Prior work developed UCB-style algorithms in the multi-armed [Wu et al., 2016] and contextual linear [Kazerouni et al., 2017] settings. However, in practice the cost of the arms is often a non-linear function, and therefore existing UCB algorithms are ineffective in such settings. In this paper, we consider CCBs beyond the linear case and develop two algorithms $\mathtt{C-SquareCB}$ and $\mathtt{C-FastCB}$, using Inverse Gap Weighting (IGW) based exploration and an online regression oracle. We show that the safety constraint is satisfied with high probability and that the regret of $\mathtt{C-SquareCB}$ is sub-linear in horizon $T$, while the regret of $\mathtt{C-FastCB}$ is first-order and is sub-linear in $L^*$, the cumulative loss of the optimal policy. Subsequently, we use a neural network for function approximation and online gradient descent as the regression oracle to provide $\tilde{O}(\sqrt{KT} + K/\alpha) $ and $\tilde{O}(\sqrt{KL^*} + K (1 + 1/\alpha))$ regret bounds, respectively. Finally, we demonstrate the efficacy of our algorithms on real-world data and show that they significantly outperform the existing baseline while maintaining the performance guarantee.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
일반 함수 근사 하에서의 최적·효율적 문맥적 조합 세미-밴딧
Optimal and Efficient Contextual Combinatorial Semi-bandits with General Function Approximation
본 논문은 맥락적 조합 세미밴딧(CCSB) 문제를 연구한다. 이 문제에서 학습자는 매 라운드마다 맥락을 관측하고, 기본 팔들의 부분집합으로 이루어진 조합 행동을 선택하며, 선택된 각 팔의 보상을 받는다. 목표는 시간에 따른 누적 보상을 최대화하는 것이다. 기존의 많은 연구가 선형 보상 함수 근사를 갖는 CCSB 문제에 초점을 맞춘 반면, 일반 보상 함수 근사를 갖는 CCSB 문제에 대한 효율적인 알고리즘 설계는 제한적이다. 본 연구에서는 학습자가 참 보상 함수를 포함하는 보상 함수 클래스 $\mathcal{F}$에 접근할 수 있는 실현 가능(realizable) 설정을 연구하고 $\mathrm{SquareCB{.}Comb}$ 알고리즘을 제안한다. $\mathrm{SquareCB{.}Comb}$가 $O(\sqrt{m A T \log |\mathcal{F}|})$의 미니맥스 최적 후회 한계를 달성함을 증명한다. 여기서 $A$는 팔의 수, $m$은 조합 행동에 포함되는 팔의 최대 개수, $T$는 시간 지평이다. 또한 맥락이 주어졌을 때 모든 팔의 보상을 효율적으로 예측할 수 있는 온라인 회귀 오라클이 있고, 조합 행동 집합이 효율적인 선형 최적화 또는 팔에 대한 임의의 목표 주변 확률이 주어졌을 때의 효율적인 샘플링 중 하나를 허용하면 $\mathrm{SquareCB{.}Comb}$는 계산적으로 효율적이다. 웹페이지 추천과 맥락적 최단 경로 문제에서 알고리즘의 효과를 실험적으로 검증한다.
적응적 실험에서 정책 개선 가치에 대한 추론
Inference on the Value of Policy Improvement in Adaptive Experiments
본 논문에서는 적응적으로 수집된 데이터 환경에서 정책 개선 가치(VPI, Value of Policy Improvement)에 대한 점근적 정규 추정량(asymptotically normal estimator)을 개발합니다. 특정 군집 내 최적 처치 정책의 가치와 기준선(baseline) 정책 가치 간의 격차로 정의되는 이 값은 맞춤형 처치 정책을 도입할 가치가 있는지 여부를 측정합니다. VPI에 대한 추정량을 구축하는 것은 고정된 정책의 가치를 추정하는 것보다 본질적으로 더 어렵습니다. 이는 적응적 실험과 연관된 상관 데이터 및 감소하는 성향(decaying propensities)을 다루어야 할 뿐만 아니라, 최적 정책이 유일하지 않을 때 기저 피추정량(estimand)의 비정칙성(non-regularity) 또는 경로별 미분 불가능성(lack of pathwise differentiability)도 모든 추정량이 함께 처리해야 하기 때문입니다. 본 연구에서 제안하는 추정량은 과거 데이터에 대해 가중 경험적 후생 극대화(weighted empirical welfare maximizing) 정책을 순차적으로 적합한 후, 미래 샘플에 대해 역성향 가중치(inverse propensity weighting)를 적용하여 이를 평가하는 방식으로 작동합니다. 우리는 최적 정책이 유일하다고 가정하지 않으며, 기저의 이질적 처치 효과에 대한 마진(margin) 가정도 두지 않습니다. 추정량 분석의 핵심적인 난점은 정책 학습을 통해 발생하는 후회(regret)가 추정량의 표준 오차보다 점근적으로 작음을 보이는 것입니다. 우리는 감소하는 성향 조건 하에서 정책 학습의 더 빠른 후회율(regret rate)을 입증함으로써 이를 달성하였으며, 이는 독립적으로도 유의미한 가치를 지닐 수 있습니다. 합성 및 준합성 데이터의 혼합을 통해 추정량의 포함 확률(coverage)을 평가할 뿐만 아니라, Caria 등이 요르단에서 진행한 구직 지원 프로그램의 효과 평가 적응적 실험에서 VPI를 추정하는 데에도 이를 적용합니다. 본 연구의 추정치는 최적 정책이 유일하다고 가정한 이들의 계층적 베이지안(hierarchical Bayesian) 분석 결과보다는 전반적으로 보수적이지만, 여전히 시리아 난민 집단 내에서 개인화가 지닌 이점을 입증합니다.
지속적 후보 집합을 활용한 선형 밴딧 가속화
Accelerating Linear Bandits with Persistent Candidate Sets
행동의 수가 $K$개로 매우 큰 고정된 집합을 갖는 선형 밴딧(linear bandit)에서는 완전 낙관적 점수 산출(exhaustive optimistic scoring)로 인해 라운드당 $\mathcal{O}(K)$회의 점수 평가가 필요하여 행동 선택 비용이 커질 수 있습니다. 본 논문에서는 $k$개의 활성 행동을 유지하고 매 라운드마다 나머지 $K-k$개 행동 중에서 $q$개의 도전자(challenger)를 균등하게 표본추출하는 Persistent Candidate LinUCB(\textsc{PC-LinUCB})를 제안합니다. 이 $k+q$개의 후보에 대해서만 점수를 평가함으로써, \textsc{PC-LinUCB}는 라운드당 점수 평가 횟수를 $\mathcal{O}(k+q)$로 줄입니다. 고정된 신뢰 수준에서 표준 선형 밴딧 학습 항과 $\mathcal{O}\left((K-k)\log(K-k)/q\right)$ 차수의 추가적 탐색 비용(discovery cost)으로 구성된 문제 독립적(problem-independent) 및 문제 의존적(problem-dependent) 고확률 후회 경계(regret bound)를 증명합니다. 특히, 이 추가 비용은 시간 지평(horizon)에 따라 증가하지 않습니다. 고정된 간격(gap)과 충분히 긴 시간 지평에 대해 균등 도전자 표본추출 조건 하에서 $\Omega\left((K-k)/q\right)$ 후회 하한을 도출하여, 부분 후보 접근 자체가 불가피한 후회 비용을 수반함을 보여줍니다. 실험 결과, \textsc{PC-LinUCB}는 유사한 수준의 후회를 유지하면서 LinUCB의 속도를 대폭 가속하며, 지속적 후보 메커니즘이 LinUCB를 넘어 다른 알고리즘으로도 확장될 수 있음을 보입니다.
FSPO: 예산 제약 기반 LLM 강화학습 사후 학습을 위한 정책 일관적 위험 및 파레토 실행 가능 제어
FSPO: Policy-Consistent Risk and Pareto-Feasible Control for Budgeted LLM RL Post-Training
적응형 대규모 언어 모델(LLM) 강화학습(RL) 사후 학습은 롤아웃(rollout) 온도, 그룹 크기, 클리핑, KL 정규화(regularization), 검증기(verifier) 할당, 업데이트 예산 등 여러 학습 제어 요소를 온라인으로 변경합니다. 그러나 세 가지 결합된 문제가 여전히 해결되지 않은 상태로 남아 있습니다. 행동 궤적(behavior trajectories)으로 학습된 미래 위험 모델은 실제로 배포될 제어기(controller)가 유발하는 위험을 정확히 추정하지 못할 수 있고, 기록된 상태-행동 쌍에서 보정(calibrated)된 점수는 선택적 행동 결정 후 보정 오차가 발생할 수 있으며, 자원별 독립적인 최소 비용만으로는 일반적으로 다중 자원에 걸친 실행 가능한 지속 경로를 보장하지 못합니다. 본 논문에서는 이러한 문제들을 종합적으로 해결하는 예산 제약 기반 LLM RL 사후 학습용 피드백 상태 제어기인 FSPO를 제안합니다. FSPO는 향후 결정에 사용되는 동일한 동결 제어기를 벨만 타깃(Bellman target)으로 따르는 정책 일관적(policy-consistent) 잔여 위험(risk-to-go) 모델을 장기 효용 모델과 함께 학습합니다. 또한 결정 조건부 궤적 보정(DCTC)은 임시 제어기가 선택한 행동으로 생성된 교차 적합(cross-fitted) 궤적에서 위험을 보정합니다. 파레토 자원 지속 보증(PRCC)은 잔여 구간(horizon) 동안 비지배(non-dominated) 누적 예약이 실행 가능할 때만 행동을 허용합니다. 동일한 GRPO 자원 범위 조건에서 FSPO는 66.11%의 홀드아웃(held-out) 정확도와 59.43%의 OOD(분포 외) 정확도를 달성하여, 평가된 가장 강력한 적응형 기준선(baseline)인 PB2의 64.47% 및 57.03%를 능가했습니다. 3개의 쌍체 학습 시드(paired training seeds) 기준 홀드아웃 및 OOD 평가에서 문맥 밴딧(contextual bandit) 대비 각각 +2.42 및 +3.19%p 향상되었습니다. 행동-배포 간 불일치가 큰 조건에서 정책 일관적 위험은 선택 결정 ECE를 0.108에서 0.053으로 낮췄고, DCTC는 동일 수락률 조건에서 이를 0.039에서 0.022로 낮췄으며, PRCC는 18개 행동 카탈로그에서 거짓 실행 가능 허용을 완전히 제거했습니다($0.197\rightarrow0.000$). 요인 제거 분석(factorial ablation)에서 세 요소를 모두 활성화했을 때 궤적 실패율은 0.181에서 0.083으로 감소했습니다.
클러스터 인식 스케칭을 통한 효율적인 선형 밴딧
Efficient Linear Bandits via Cluster-Aware Sketching
본 논문에서는 유한한 아암 집합(finite arm set)을 갖는 고차원 환경에서 선형 밴딧(linear bandit)의 계산 효율성 문제를 연구합니다. 선형 밴딧에서는 특징(feature) 벡터의 차원 $d$가 증가함에 따라 매 업데이트 라운드마다 $O(d^2)$의 계산 비용이 증가하게 됩니다. SOFUL과 같은 전통적인 스케칭(sketching) 기반 방법들은 고정된 크기의 행렬 스케칭을 통해 계산량을 줄이지만, 데이터의 스펙트럼 꼬리(spectral tail)가 두껍고 스케치 크기가 적절히 선택되지 않을 때 무의미한 선형 후회(linear regret)를 초래할 위험이 있습니다. 후회 수렴(convergence)을 보장하고 계산 비용을 효과적으로 줄이기 위해, 우리는 클러스터링 메커니즘을 도입하고 클러스터 스케치 선형 밴딧(CS-LB) 알고리즘을 제안합니다. 제안하는 방법은 스펙트럼 꼬리 취약점 없이 강건한 서브리니어 후회(sublinear regret)를 보장하도록 각 클러스터 내에서 전체 공분산 정보를 보존하고, 각 클러스터에 센티널(sentinel)을 할당하여 클러스터 전환을 수행하며, 조정 가능한 스케치 크기 $l<d$를 통해 라운드당 업데이트 계산량을 $O(l^2d)$로 줄입니다. 합성 데이터셋에 대한 실험은 제안된 방법이 효율성과 후회 간의 유리한 절충(trade-off)을 일관되게 유지함을 보여줍니다.
밴딧 피드백을 활용한 동적 그래프에서의 로컬 워크 학습
Learning from Local Walks on Dynamic Graphs with Bandit Feedback
우리는 동적 그래프 위의 확률적 다중 슬롯 머신 밴딧(stochastic multi-armed bandits)을 연구한다. 여기서 각 암(arm)은 시간에 따라 엣지가 변하는 네트워크의 정점(vertex)에 대응된다. 이 설정에서 학습자는 로컬 이동만 허용되어, 매 라운드마다 현재 노드 또는 인접 이웃 노드만을 선택할 수 있다. 이 제약은 최적 암 식별과 활용(exploitation)을 분리시킨다. 즉, 최적 암이 식별된 이후에도 학습자는 진화하는 위상 구조(topology)를 통해 해당 암에 도달하지 못할 수 있다. 우리는 슬라이딩 윈도우 믹싱(sliding-window mixing)에 기반한 프로세스-비종속적(process-agnostic) 구조 조건을 규명하며, 이를 통해 그래프의 내재적 워크(walk)가 탐험(exploration)과 탐색 모두에서 안정적으로 유지됨을 보장한다. 이 체제 하에서 로컬 탐험 후 확정(explore-then-commit) 알고리즘 계열을 분석하고 준선형(sublinear) 기댓값 후회(expected regret)를 확립한다. 우리의 프레임워크는 보상(reward)-인식 전략을 포함하며, 이에 대해 최악의 경우 안전성 정리(worst-case safety theorem)와 별도의 성능 향상 정리(performance gain theorem)를 증명한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.