우리는 보상 분포가 1-모수 지수 분포족에 속하는 $K$-팔 밴딧 문제를 연구한다. 문헌에서는 이러한 알고리즘의 성능을 평가하기 위해 점근적 최적성, 미니맥스 최적성, Sub-UCB, 분산 적응형 후회 한계를 포함한 여러 기준이 제안되어 왔다. 톰슨 샘플링 기반 및 상한 신뢰 구간 기반 알고리즘이 이러한 기준 중 일부를 달성하는 데 사용되어 왔다. 그러나 이들 알고리즘 중 어느 것도 앞서 언급한 모든 기준을 동시에 만족하지 못한다. 본 논문에서는 점근적 최적성, $\sqrt{\ln (K)}$ 인자를 갖는 미니맥스 비율, Sub-UCB, 분산 적응형 후회 한계를 포함한 여러 최적성 기준을 동시에 달성하는 알고리즘인 지수 쿨백-라이블러 마이야르 샘플링(Exponential Kullback-Leibler Maillard Sampling, 약칭 Exp-KL-MS)을 설계한다. 우리의 알고리즘 설계는 최소 경험적 발산(Minimum Empirical Divergence) 프레임워크~\citep{honda2011asymptotically,maillard2011apprentissage}를 따르며, 팔 $a$의 탐색 확률은 $\text{exp}\left(-L(N_{t-1, a}) \text{KL}(\hat{\mu}_{t-1, a}, \max_{a'} \hat{\mu}_{t-1, a'})\right)$에 비례한다. 여기서 $L(\cdot)$은 역온도 함수이고, $N_{t-1, a}$는 시점 $t$ 이전에 팔 $a$를 당긴 횟수이며, $\hat{\mu}_{t-1, a}$는 시점 $t$ 이전의 팔 $a$의 경험적 평균이고, $\text{KL}(\cdot, \cdot)$은 1-모수 지수 분포족에 속하는 두 분포 간의 쿨백-라이블러 발산이다. 우리의 분석은 역온도 함수 $L(k)$의 다양한 선택을 허용한다. 또한 알고리즘의 효과를 보여 주는 수치 시뮬레이션을 제공한다.
본 논문은 보상과 전이가 알려지지 않은 매개변수에 의존하는, 보렐(Borel) 상태 및 행동 공간을 갖는 할인 무한 시계 마르코프 결정 과정(MDP)에서의 학습 프레임워크를 제시한다. 이러한 환경에서 샘플링 기반 적응형 학습 알고리즘을 분석하기 위해, 샘플링된 매개변수를 과정의 이력에 명시적으로 포함하는 정준 확률 공간(canonical probability space)을 도입한다. 성능 기준으로는 할인 MDP 후회(regret) 분석에서 사용되는 기간별 준최적성 격차(suboptimality gap)를 채택하고, 이를 매개변수화된 베이지안 설정에 맞게 특수화한다. 이 양은 현재 시점부터 이후의 미래 성능에서 남아 있는 손실을 나타내므로, 이를 잔여 후회(residual regret)라고 부른다. 우리는 기대 잔여 후회를 이용하여 할인 MDP 후회 분석을 적응 제어의 점근적 할인 최적성(asymptotic discount optimality) 및 강화학습의 시간차 오차(temporal-difference error) 관점과 연결한다. 이어서 할인 무한 시계 MDP에서의 톰슨 샘플링(TS)에 초점을 맞춘다. 유한 상태 및 행동 공간에 대한 기존 연구에서 사용된 가정을 보렐 설정으로 확장한 가정 하에서, TS의 기대 잔여 후회가 지수적으로 빠르게 0으로 수렴함을 보인다. 또한 관련 극한의 존재를 보장하는 완만한 조건 하에서, 표본 경로(sample-path) 잔여 후회가 거의 확실하게(almost surely) 0으로 수렴하며 TS가 완전 학습(complete learning)을 달성함을 보인다.
Thompson sampling(TS)은 확률적 다중 팔 밴딧(multi-armed bandit) 문제를 푸는 데 가장 널리 쓰이고 초기부터 알려진 알고리즘 중 하나이다. 표준 사후분포 대신 분수 또는 $α$-사후분포($α\in(0,1)$)를 사용하는 TS 변형인 $α$-TS를 고려한다. $α$-사후분포를 계산할 때, 표준 사후분포 정의에 들어 있는 가능도는 인자 $α$로 tempering된다. $α$-TS에 대해 사전과 보상 분포에 매우 완만한 조건 하에서 instance-dependent $\mathcal{O}\left(\sum_{k \neq i^*} Δ_k\left(\frac{\log(T)}{C(α)Δ_k^2} + \frac{1}{2} \right)\right)$ 및 instance-independent $\mathcal{O}(\sqrt{KT\log K})$ 빈도주의 후회 상한을 모두 얻는다. 여기서 $Δ_k$는 $k$번째 팔과 최적 팔의 참 보상 평균 간 gap이고, $C(α)$는 알려진 상수이다. 서브가우시안(sub-Gaussian) 및 지수족(exponential family) 모델 모두 보상 분포에 대한 우리의 일반 조건을 만족한다. 사전 분포에 대한 조건은 양수이고 연속적이며 유계인 밀도로 쉽게 만족시킬 수 있다. 또한 상수까지 improved UCB [Auer and Ortner, 2010]와 (상수 차이 내에서) 일치하는 또 다른 instance-dependent 후회 상한을 제시한다. 후회 분석은 $α$-사후분포에 대한 비점근 집중 분석과 Bernstein–von Mises 유형 결과의 최근 이론적 발전을 신중하게 적응·결합한다. 더 나아가, 분석은 폐형 사후분포나 켤레 사전(conjugate prior) 같은 추가 구조적 성질을 요구하지 않는다.
온라인 의사결정에서의 불확실성 정량화와 탐험을, 급속한 혁신이 이루어지고 있는 자기회귀 시퀀스 모델의 학습 및 생성 문제로 정식화한다. 우리의 접근법은 불확실성을 환경의 관측 불가능한 잠재 매개변수에서 비롯되는 것이 아니라, 행동 선택을 통해 드러날 수 있는 미래 결과의 결측에서 비롯된다고 보는 데 기반한다. 이러한 재정식화는 현대 기계학습 역량과 자연스럽게 부합한다: (i) 명시적 사전분포를 적합하는 대신 다음 결과 예측을 통해 생성 모델을 학습할 수 있고, (ii) 사후분포에서 잠재 매개변수를 샘플링하는 대신 자기회귀 생성을 통해 불확실성을 평가할 수 있으며, (iii) 명시적 사후 업데이트 대신 시퀀스 모델의 컨텍스트를 확장하여 새로운 정보에 적응할 수 있다. 우리의 주요 이론적 결과는 온라인 의사결정을 오프라인 다음-결과 예측으로 환원함을 보인다. 베이지안 후회(Bayesian regret)는 명시적 잠 latent-variable 사후분포 없이도 시퀀스 모델의 오프라인 예측 손실에 의해 직접 통제된다. 반합성(semi-synthetic) 뉴스 추천 과제를 포함한 실험에서, 자기회귀 생성은 보정된(calibrated) 인식론적(epistemic) 불확실성을 생성하며, 기사 텍스트를 사전 정보로 활용해 남은 불확실성 해소에 탐험을 집중함으로써 효과적인 탐험을 가능하게 함을 보여준다.
베이지안 최적화(BO)에서 초기 무작위 평가 횟수 $n_0$를 너무 작거나 크게 설정하면 전역 최적값 탐색의 총 비용이 U자형으로 증가하는 현상을 실험적으로 규명하고, 이를 분산 기반 획득 함수(acquisition function)가 초반에 하이퍼큐브 경계를 과도하게 탐색하는 경계 문제(boundary issue)로 설명한다. Thompson Sampling은 이 트레이드오프에서 예외적으로 $n_0$에 무관한 안정적 성능을 보이며, $n_0$ 조정이 어려운 경우 Thompson Sampling을, 가능한 경우 충분히 큰 $n_0$와 다단계 미리보기(multi-step lookahead) BO를 권장한다.
확률적 선형 밴딧(stochastic linear bandits)에서 표준적인 상한 신뢰 구간(UCB) 알고리즘은 간단한 빈도주의 후회(regret) 분석을 허용하지만 계산 비용이 클 수 있는 반면, 톰슨 샘플링(Thompson Sampling, TS)은 계산 효율이 높지만 낙관적이지 않은 특성으로 인해 분석이 일반적으로 더 어렵다. 본 논문에서는 부호 있는 탐험(exploration) 노이즈를 절댓값으로 대체함으로써 기댓값 측면에서 낙관성을 보장하는 TS의 간단한 변형인 절댓값 톰슨 샘플링(Absolute Thompson Sampling, ATS)을 제안한다. 이는 TS의 계산 효율성을 유지하면서 TS 분석에서 흔히 요구되는 기술적으로 복잡한 반집중(anti-concentration) 논증을 피할 수 있어, UCB 방식의 단순한 후회 분석이 가능하다. ATS가 $\tilde{O}(d^{3/2}\sqrt{K})$의 후회를 달성함을 보이며, 이는 선형 밴딧에서 TS에 대한 기존 경계와 일치한다. 나아가 앙상블(ensemble) 크기로 정규화(normalization)하여 여러 절댓값 섭동에 대한 최댓값을 취하는 앙상블 절댓값 톰슨 샘플링(Ensemble Absolute Thompson Sampling, EATS)을 도입한다. 앙상블 크기가 커질수록 EATS는 UCB 목적함수로 수렴하여 극한에서 UCB 동작을 회복한다. 실험 결과, 중간 크기의 앙상블만으로도 이미 강력한 성능을 발휘함을 보인다. 본 결과는 이론과 실제 모두에서 무작위 탐험과 결정론적 낙관주의 사이의 가교를 제시한다.
우리는 목적 함수가 GP(가우시안 프로세스)의 샘플 경로라는 가정 하에 널리 사용되는 베이지안 최적화 방법인 가우시안 프로세스 톰슨 샘플링(GP-TS)을 연구합니다. 고확률 및 기대 후회 경계가 확립된 GP 상위 신뢰 구간(GP-UCB)과 비교할 때, GP-TS에 대한 대부분의 분석은 기대 후회로 제한되어 있습니다. 또한, 관대한 후회(Lenient regret)와 개선된 누적 후회 상한에 대한 GP-UCB의 최근 분석이 GP-TS에 적용될 수 있는지 여부는 여전히 불분명합니다. 이러한 공백을 메우기 위해, 본 논문은 다음과 같은 여러 후회 경계를 제시합니다: (i) GP-TS가 확률 $δ$로 $1/δ$에 대한 다항식 의존성을 겪는다는 것을 시사하는 GP-TS의 후회 하한, (ii) $δ$에 대한 개선된 후회 상한을 직접적으로 시사하는 누적 후회의 2차 모멘트 상한, (iii) 기대 관대한 후회 상한, 그리고 (iv) 시간 지평 $T$에 대한 개선된 누적 후회 상한. 아울러, 우리는 $T$에 대한 개선된 후회 상한을 얻기 위해 최근 분석의 필요 조건을 완화한 것을 포함하여 여러 유용한 보조정리를 제공합니다.