Many online decision-making problems involve both round-specific feasible actions and drifting reward models: eligible ad impressions, feasible prices, and available treatments can change over time, while user preferences, demand curves, and patient responses may evolve. Motivated by these applications, we study non-stationary linear bandits with round-specific feasible decision sets. Our key contribution is a blockwise reduction that connects parameter drift in non-stationary linear bandits to model misspecification in contextual linear bandits while preserving the round-specific decision benchmark. This connection allows us to leverage misspecification-adaptive learning to obtain dynamic-regret guarantees for general time-varying decision sets. For a known path-length budget $P_T$, we establish these guarantees for general compact, adaptive non-anticipating decision sets under an oblivious parameter path, and for $K$-armed contextual linear bandits under an oblivious environment. For general time-varying decision sets, our bounds improve the dependence on $T$ and $P_T$ from the $\widetilde O(T^{3/4}P_T^{1/4})$ guarantees available for existing LinUCB-based approaches to $\widetilde O(T^{2/3}P_T^{1/3})$, matching the non-stationary lower-bound dependence up to logarithmic factors.
We study the contextual combinatorial semi-bandit (CCSB) problem, where at each round, the learner observes a context, selects a combinatorial action consisting of a subset of basic arms, and receives the reward of each selected arm; its goal is to maximize its cumulative reward over time. While many previous works focus on CCSB problems with linear reward function approximation, the design of efficient algorithms for the CCSB problem with general reward function approximation is limited. In this work, we study the realizable setting where the learner has access to a reward function class $\mathcal{F}$ that contains the true reward function, and propose the $\mathrm{SquareCB{.}Comb}$ algorithm. We prove that $\mathrm{SquareCB{.}Comb}$ achieves a minimax optimal regret bound of $O(\sqrt{m A T \log |\mathcal{F}|})$, where $A$ is the number of arms, $m$ is the maximum number of arms in a combinatorial action, and $T$ is the time horizon. In addition, $\mathrm{SquareCB{.}Comb}$ is computationally efficient when we have an online regression oracle that can efficiently predict rewards of all arms given contexts, and the combinatorial action set admits either efficient linear optimization or efficient sampling given any target marginal probability on arms. We empirically verify the effectiveness of our algorithm in webpage recommendation and contextual shortest path problems.
오프-정책(off-policy) 평가(OPE)는 기록된 데이터로부터 타깃 정책의 가치를 추정하지만, 행동 정책의 제한된 커버리지로 인해 높은 분산의 가중치 재조정이나 보상(reward) 모델(model) 외삽이 불가피할 수 있습니다. 반사실적(counterfactual) 주석(annotation)은 관측되지 않은 행동에 대한 증거를 추가할 수 있지만, 도메인 전문가나 대규모 언어 모델(LLM)을 포함한 실제 소스는 비용이 많이 들거나 편향되거나 노이즈가 있을 수 있습니다. 본 연구에서는 맥락적 밴딧(contextual-bandit) OPE를 위해 이러한 주석을 예산 제약 하에서 획득하는 문제를 연구합니다. 소스별 비용과 오류 프로필이 주어졌을 때, 주석 계획에 의존하는 추정량 분산 성분을 최소화하도록 맥락-행동 쌍과 주석 소스에 대한 정수 할당 문제를 정형화합니다. 또한 첫 번째 주석 임계값과 국소적 주석 가치 영역을 통해 주석이 언제 유용한지 규명합니다. 결합된 다중 소스 문제에 대해, 목적 함수를 단조적으로 개선하는 동적 계획법 서브루틴 기반의 주화-최소화(majorization-minimization) 알고리즘을 개발합니다. 합성 임상 및 LLM 주석 기반 교육 밴딧 실험에서 본 할당 방법은 주석이 없는 경우 대비 고정 프로필 평균 제곱 오차(MSE)를 각각 20.58% 및 10.77% 감소시킴을 보여줍니다.
맥락적 밴딧(contextual bandit)은 비선형 보상(reward) 모델링과 온라인 효율성 사이의 균형을 필요로 한다. 트리 앙상블과 신경망 기반 방법은 비선형성을 포착할 수 있지만 주기적인 재학습과 대규모 리플레이 버퍼를 필요로 한다. 선형 모델은 관측값마다 O(1) 메모리로 효율적으로 업데이트할 수 있지만, 근본적으로 선형 보상 구조에만 제한된다. 우리는 이러한 간극을 메우기 위한 표현 층(representation layer)으로 잔차 양자화(Residual Quantization, RQ)를 제안한다. 오프라인으로 학습된 RQ 코드북(codebook)은 연속적인 맥락(context)을 여러 수준에 걸친 이산적 중심점(centroid) 할당으로 매핑하며, 이 수준들은 섀도 메커니즘(shadow mechanism)을 통해 동적으로 설정된다. 이를 통해 엄격하게 제한된 메모리로 비선형 표현력을 달성하는 다양한 가산적(additive) 밴딧 알고리즘을 구현할 수 있다. 13개의 데이터셋(dataset)에 걸쳐, RQ 변형들은 13개 중 11개 데이터셋에서 비-RQ 대응 모델을 종종 큰 차이로 능가했으며, 더블링 재학습(doubling-retrain) 방식의 XGBoost 및 신경망 베이스라인과 비슷한 성능을 최대 1000배 적은 메모리로 달성했다.
대규모 언어 모델(LLM) 캐스케이딩에 동기를 얻어, 본 논문은 LLM API를 적응적으로 질의하고 선택하기 위한 온라인 문맥적 판도라의 박스 모델을 제안합니다. 각 기간마다 의사결정자는 요청 컨텍스트를 관찰하고 두 단계 의사결정 문제에 직면합니다. 질의(query) 단계에서 의사결정자는 API에 순차적으로 질의를 보내며, 각 질의는 생성된 출력을 드러내고 의사결정자는 (출력 종속적인) 비용을 부담합니다. 선택(selection) 단계에서 의사결정자는 배포할 생성된 출력 중 하나를 선택하고 배포된 출력의 다운스트림 보상만 관찰합니다. 이러한 출력 매개 피드백 구조는 상자를 열면 그 보상이 직접 드러나는 기존의 온라인 문맥적 판도라의 박스 모델과는 다릅니다. 각 API의 전체 조건부 출력 및 비용 분포를 추정하는 대신, 예약 지수(reservation index)를 직접 모델링하고 질의 단계를 위한 학습 접근법을 개발합니다. 구체적으로, 고전적인 Weitzman 정책에 의해 유도된 문맥적 예약 지수 함수에 모수적 구조를 부과합니다. 제안하는 정책은 이러한 예약 지수에 대한 일반화 모멘트 방법(GMM) 유형의 추정과 해당 지수 및 공유 출력 수준 보상 평가자에 대한 UCB 스타일 신뢰 구간을 결합합니다. 정칙성 조건 하에서, 결과 정책이 $T$개 기간에 걸쳐 차원 의존적인 $\widetilde O(\sqrt T)$ 누적 후회를 달성함을 증명합니다.
견고한 강화학습은 일반적으로 피드백 소스가 전역적으로 신뢰할 수 있거나 고정된 전역 예산 내에서 손상되었다고 가정한다. 우리는 이 이분법을 벗어나는 더 미묘한 실패 모드를 식별하며, 이를 \emph{Contextual Sycophancy}라고 부른다. 이 실패 모드에서 평가자들은 양호한 맥락에서는 진실하지만 중요한 맥락에서는 체계적으로 바이어스되어, 어떤 단일 평가자도 모든 맥락에서 신뢰할 수 없으며, 손상된 평가자들이 중요한 맥락에서 \emph{다수}를 이룰 수 있다. 우리의 첫 번째 결과는 정보 이론적 하한이다. \emph{동일한} 사회적 피드백 분포를 유도하지만 최적 행동이 서로소인 두 문제 인스턴스를 제시하여, 사회적 피드백만에 의존하는 \emph{어떤} 알고리즘(중단점에 관계없이 모든 견고한 집계기를 포함)도 $Ω(T)$의 잠재 후회(latent regret)를 발생시킴을 증명한다. 이는 추가 정보 없이 맥락적 순응(contextual sycophancy)을 극복하는 것이 불가능함을 보여준다. 이어서 확률 $p_{\mathrm{aud}}$로 이용 가능한 희소한 ground-truth 감사(audit) 스트림이 충분함을 보인다. 우리는 감사로부터 평가자별 맥락적 \emph{신뢰 경계}(trust boundary)를 학습하고 이에 따라 피드백 가중치를 재조정하는 \ESA를 제안하며, 적대자의 바이어스 전략 복잡도인 $d_{VC}$에 대해 $\tilde{\mathcal{O}}\!\big(\sqrt{T\,d_{VC}/p_{\mathrm{aud}}} + d\sqrt{T} + ε_{\mathrm{tol}}T\big)$의 고확률 잠재 후회 상한을 증명한다. 감사 의존성 $1/\sqrt{p_{\mathrm{aud}}}$는 감사의 정보 이론적 필요성과 일치한다. 실험적으로 \ESA는 사회적 층의 80%가 적대적인 경우에도 ground truth를 회복하며, 이는 중앙값 및 평균 기반 견고한 베이스라인이 실패하는 영역이다.
우리는 기계 학습 모델이 생성하는 대리 보상(surrogate reward) 신호에 접근 가능하고 상관된 암(arm)을 갖는 문맥적 밴딧(contextual bandit) 문제를 연구하며, 대규모 언어 모델(LLM) 라우팅과 같은 응용에서 동기를 얻었다. 밴딧 피드백에만 의존하고 암 간 조건부 독립성을 가정하는 고전적 문맥적 밴딧과 달리, 우리의 설정은 문맥 의존적인 암 간 상관관계와 잡음이 있거나 잘못 명세될 수 있는 보조 보상 정보를 허용한다. 우리는 두 가지 상보적 설계를 통해 이러한 대리 보상을 활용하는 알고리즘을 제안한다. 결합 보상 혼합(coupled reward-mixing) 방식은 대리 신호가 신뢰할 수 있을 때 학습을 가속화하기 위해 실제 보상과 대리 보상을 통합하며, 분리 예측 혼합(decoupled prediction-mixing) 방식은 밴딧 피드백과 대리 보상에 대한 별도의 추정기를 유지하고 그 예측을 적응적으로 결합한다. 이러한 분리는 대리 보상의 잘못된 명세에 대한 견고성을 제공하여 최악의 경우 보상만 사용하는 밴딧 방법에 필적하는 후회(regret) 보장을 회복하면서, 대리 예측이 충분히 유익한 경우 개선된 후회를 달성한다. 우리는 두 방식에 대한 이론적 후회 분석을 제공하고, 다양한 정확도 대 비용 트레이드오프 하에서 LLM 라우팅 벤치마크를 대상으로 평가한다. 결과는 표준 문맥적 밴딧 기준선 및 강력한 정적 라우팅 방법과 비교하여 향상된 샘플 효율성과 일관되게 더 나은 정확도-비용 트레이드오프를 보여준다.
그래프 구조 arm을 갖는 문맥적 밴딧(contextual bandits)은 추천, 인용 검색, 소셜 광고 등에서 등장하며, 그래프상에서 연결된 arm들은 보상(reward) 신호를 공유하는 경향이 있다. 표준 차원 축소(dimensionality reduction)는 이러한 구조를 무시하여 탐험(exploration) 비용을 $d/k$배 만큼 증가시킨다. 우리는 arm 특징을 그래프의 저주파 스펙트럴 부분공간(spectral subspace)에 투영하고, 그 결과 얻은 $k$차원 공간에서 선형 UCB를 실행하는 GraphDR-LinUCB를 제안한다. 스펙트럴 투영(spectral projection) 기반 문맥적 밴딧에 대해 최초의 $\wtO(k\sqrt{T})$ 후회(regret) 한계를 증명하며, 차원 의존성을 $d$에서 $k$로 줄인다; 섭동(perturbation) 논증으로 이를 노이즈 그래프까지 확장하고, 보상 평활성(reward smoothness) 불일치와 그래프 추정 오류에 대한 명시적 페널티를 제시한다. 핵심 이론적 발견은 고주파 보상 성분이 최악의 $T$에 선형인 페널티를 반드시 받을 필요는 없다는 것이다: 그 실제 비용은 총 에너지(total energy)가 아니라 실제 플레이 경로(played path)를 따른 실현된 영향(realized impact)에 달려 있다. 부분공간($\Gamma_k$) 간의 단순한 스펙트럴 비교는 주어진 데이터셋(dataset)에서 어떤 축소기(reducer)가 이길지 예측하며, 임계값을 학습하지 않고도 6개 실제 데이터셋 중 5개의 결과를 올바르게 맞춘다. 합성 벤치마크(benchmark)와 6개 실제 데이터셋(MovieLens, Amazon, LastFM, ogbn-arxiv, MIND)에 걸쳐, GraphDR-LinUCB는 전체 차원 LinUCB 대비 누적 후회(cumulative regret)를 $15\times$ 줄이고, 6개 중 5개에서 경쟁 그래프 인지(graph-aware) 방법을 능가한다; 유일한 실패는 바로 그래프의 스펙트럴 부분공간이 보상과 어긋난 경우이다.
소셜 네트워크에서 또래 영향 확률(peer influence probability)을 학습할 때 누적 후회(regret) 최소화와 추정 오차 사이에 근본적인 트레이드오프가 존재함을 이론적으로 증명하고, 이를 단일 파라미터 β로 제어하는 컨텍스트 선형 밴딧(contextual linear bandit) 프레임워크인 InfluenceCB를 제안한다. 반합성 네트워크 데이터셋 실험에서 InfluenceCB는 정적 방법 및 이 트레이드오프를 무시하는 기존 컨텍스트 밴딧 대비 우수한 성능을 보였다.
결과 모델이 잘못 지정된(misspecified) 컨텍스트ual bandit 데이터에서도 사후 실험 통계 추론이 가능하도록 역확률 가중 Z-추정(IPW-Z) 프레임워크를 제안하고, LinUCB 같은 표준 알고리즘이 정책 안정성을 잃어 추론이 무효화될 수 있음을 보인 뒤 scaled inverse-propensity convergence 조건 하에서 일관성·점근 정규성과 샌드위치 분산 추정을 확립한다. 시뮬레이션과 HeartSteps V1 실데이터 응용에서 다양한 추론 목표에 대해 신뢰구간 커버리지가 안정적임을 확인한다.
매칭 플랫폼에서 매칭 수 극대화로 인한 인기 참가자 집중과 이탈 문제를 완화하기 위해 암 만족도(arm satisfaction)를 목표로 하는 조합 할당 밴딧(CAB) 온라인 학습 문제를 제안하고, GLM 피드백 하에서 근사 최적화 오라클 기반 UCB·Thompson 샘플링 알고리즘의 regret 상한을 증명한다. 합성 데이터 실험에서 CAB-UCB가 매칭·공정성 지향 베이스라인보다 더 높은 누적 만족도를 달성한다.
본 논문은 유계 보상 노이즈(bounded reward noise)를 갖는 확률적 선형 문맥 밴딧(SLCB)을 다룹니다. 기존 연구들은 일반적으로 sub-가우시안 보상 노이즈와 유계 기대 보상(bounded expected rewards)을 가정하며, 이 조건에서 호라이즌(horizon) $T$에 대한 최적 후회 상한(regret bound)은 $\tilde{O}(\sqrt{T})$의 스케일을 갖습니다. 그러나 많은 응용 분야에서 실현/관측된 보상 또한 자연스럽게 유계이며, 이는 유계 보상 노이즈를 의미합니다. 유계 노이즈는 sub-가우시안 조건보다 더 많은 정보를 제공하지만, SLCB 문헌에서는 명시적으로 활용되지 않았습니다. 본 논문에서는 집합 소속 추정(set-membership estimation, SME)이라는 불확실성 정량화 방법을 활용하고 불확실성 하의 낙관주의(Optimism in the Face of Uncertainty, OFU) 원칙을 적용하여 새로운 알고리즘인 SME-OFU를 제안합니다. 우리의 알고리즘은 개선된 $O(\log T)$ 후회 상한을 달성합니다. 유계 노이즈는 더 강한 조건이므로, 이것이 sub-가우시안 노이즈에 대한 기존의 최적 상한인 $\tilde{O}(\sqrt{T})$와 모순되지 않음에 유의하십시오. 마지막으로, 시뮬레이션 결과 보상 노이즈가 유계일 때 SME-OFU가 sub-가우시안 노이즈용으로 설계된 벤치마크 알고리즘보다 경험적으로 개선된 성능을 보임을 확인했습니다.
우리는 기록된 문맥형 밴딧 데이터로부터 최적 정책을 식별하기 위한 언제든 유효한 프레임워크를 개발합니다. 많은 응용 설정에서 분석가는 후보 정책 클래스 $Π$ 내에서 최적 정책을 선택하고자 하지만, 데이터는 분석가가 제어할 수 없는 외부적으로 결정된 로깅 정책에 의해 생성됩니다. 분석가는 또한 증거를 지속적으로 모니터링하고, 미리 고정된 표본 크기에 얽매이는 대신 최적 정책이 명확해지는 시점에 중단하기를 원할 수 있습니다. 본 논문은 시간에 대해 높은 확률로 균일하게 참 최적 정책 집합을 유지하는 시간 인덱스 집합 $S_t$를 구성하여 이러한 문제를 해결합니다. 결과적인 절차를 통해 분석가는 정책 가치를 모니터링하고, 명백히 비최적인 정책을 제거하며, 추론(inference)을 무효화하지 않으면서 데이터 의존적인 시점에 중단할 수 있습니다. 최적 정책이 유일한 경우, 우리는 그 식별을 위한 정지 시간을 정의하고, $Δ_{\min}$을 최상의 정책 가치와 차선의 정책 가치 사이의 격차라고 할 때 $O\!\left(\frac{\log |Π|+\log\log(1/Δ_{\min})}{Δ_{\min}^2}\right)$의 비율로 스케일링되는 표본 복잡도 상한을 도출합니다. 시뮬레이션 결과, 언제든 유효한 접근 방식이 고정-$N$ 설계에 비해 상당한 표본 절약 효과를 낼 수 있음이 입증되었습니다. 온라인상의 잘못된 정보를 줄이기 위한 대규모 적응형 실험에 대한 적용 사례는 최적 정책에 대한 증거가 축적됨에 따라 본 방법이 동적인 관점을 어떻게 제공하는지 보여줍니다.