평균 기반 알고리즘: 하한 및 후회
Mean-based algorithms: A lower bound and regret
평균 기반 알고리즘(mean-based algorithm)은 평균 보상이 낮은 행동에 낮은 확률을 할당하는 온라인 학습 알고리즘이다. 최근 연구에 따르면 이러한 알고리즘은 경제 게임에서 내시 균형(Nash equilibria)의 근사치 역할을 하는 순차적 비지배(serially undominated) 행동으로 수렴한다. 그러나 실증적 연구들은 평균 기반 알고리즘이 밴딧 피드백(bandit feedback) 환경에서 기존 무후회(no-regret) 대안들보다 더 느리게 수렴함을 보여준다. 본 연구는 미지의 기간(unknown horizon)과 밴딧 피드백 환경에서 평균 기반 알고리즘을 조사한다. 이 설정에서 우리는 알고리즘 정의 수열 $γ_t$에 대한 최초의 하한(lower bound)을 제시하여 이러한 알고리즘의 학습 속도에 대한 근본적인 한계를 규명한다. 다중 팔 밴딧(multi-armed bandit) 문제에서 이 결과는 임의의 알고리즘이 낮은 보상의 행동을 안정적으로 식별하는 동시에 이러한 지식에 따라 행동할 수 있는 속도를 제한한다. 또한 우리는 두 가지 평균 기반 알고리즘을 제안한다. 하나는 $ε$-greedy를 일반화한 것이고, 다른 하나는 평균 기반 Exp3를 미지의 기간으로 확장한 것이다. 실험을 통해 평균 기반 알고리즘이 다소 느리기는 하지만 다른 밴딧 피드백 알고리즘과 경쟁력 있는 성능을 보일 수 있음을 확인했다. 나아가 후회(regret)와의 관계를 추가로 연구한다. $γ_t$의 선택에 따라 무후회 알고리즘과의 교집합은 자명하지 않으며(non-trivial), 일부 알고리즘은 평균 기반이면서 동시에 무후회임을 보인다.