Many online decision-making problems involve both round-specific feasible actions and drifting reward models: eligible ad impressions, feasible prices, and available treatments can change over time, while user preferences, demand curves, and patient responses may evolve. Motivated by these applications, we study non-stationary linear bandits with round-specific feasible decision sets. Our key contribution is a blockwise reduction that connects parameter drift in non-stationary linear bandits to model misspecification in contextual linear bandits while preserving the round-specific decision benchmark. This connection allows us to leverage misspecification-adaptive learning to obtain dynamic-regret guarantees for general time-varying decision sets. For a known path-length budget $P_T$, we establish these guarantees for general compact, adaptive non-anticipating decision sets under an oblivious parameter path, and for $K$-armed contextual linear bandits under an oblivious environment. For general time-varying decision sets, our bounds improve the dependence on $T$ and $P_T$ from the $\widetilde O(T^{3/4}P_T^{1/4})$ guarantees available for existing LinUCB-based approaches to $\widetilde O(T^{2/3}P_T^{1/3})$, matching the non-stationary lower-bound dependence up to logarithmic factors.
본 논문에서는 라운드당 하나의 편향되지 않은 확률적 서브그래디언트(stochastic subgradient)와 미지의 유한한 조건부 $p$차 노이즈 모멘트($1<p\le2$)를 갖는 온라인 볼록 최적화(online convex optimization)를 연구합니다. 길이 $n$의 모든 고정된 구간 $I$ 및 $\Lambda_I=1+P_I/D$를 만족하는 비교자(comparator) 경로에 대해, 한 학습자는 다음을 달성합니다: \[ E[Regret_I(u)]\le\min(GDn, C[GD\sqrt{n(\Lambda_I+\log^2(2T))} +\sigma Dn^{1/p}(\Lambda_I+\log^2(2T))^{(p-1)/p}]). \] 이 학습자는 $G, \sigma, p, I, P_I$ 중 어느 것도 사용하지 않으며, 상수는 보편 상수입니다. 구간 적응(interval adaptation)은 비교자 복잡도를 증가시키면서도 서로 다른 평균 그래디언트 및 노이즈 지수를 보존합니다. 본 분석은 기댓값 측면에서 캘리브레이션을 제어하고 관측 스케일 변화에 따른 비용을 제한합니다. 일반 정리는 불균등 사전 분포(nonuniform prior)에 대한 상대 엔트로피 의존성을 바탕으로 예측 가능하게 가용한 전문가(expert)들의 분포와 비교합니다. 공통 사전 분포는 긴 윈도우와 긴 재시작 길이를 선호합니다. 제공된 통계량을 통해 구간 비용은 $1+\log(T/n)$이 되며, 전체 기간(full-horizon)에서의 최적 정적 수렴 속도(static rate)를 포함합니다. 측도 변환(change-of-measure) 하한은 명시적인 조건 하에서 전체 기간 최적 보장을 유지하는 학습자에 대해 이 로그 항의 노이즈 거듭제곱을 규명합니다. 정적 비교 및 결정론적 분할도 동일한 결정으로부터 도출됩니다.
적대적 MDP(adversarial MDP)에서 기존 동적 후회(dynamic regret) 분석이 비정상성의 비용을 손실 변동 크기로 측정하는 한계를 극복하고자, 점유 측도(occupancy measure) 다면체의 노멀 팬(normal fan) 기하학을 도입해 손실 경로가 최적 면(optimal face)을 실제로 교차할 때만 후회가 발생함을 형식화한다. 이를 통해 동적 후회를 면 교차 비용(face-crossing price)과 면 내 선택 오류로 정확히 분해하며, 손실 변동이 임의로 크더라도 비용이 0일 수 있음을 이론적·실험적으로 입증한다.