PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.04931v2cs.LG

평균 기반 알고리즘: 하한 및 후회

Mean-based algorithms: A lower bound and regret

평균 기반 알고리즘(mean-based algorithm)은 평균 보상이 낮은 행동에 낮은 확률을 할당하는 온라인 학습 알고리즘이다. 최근 연구에 따르면 이러한 알고리즘은 경제 게임에서 내시 균형(Nash equilibria)의 근사치 역할을 하는 순차적 비지배(serially undominated) 행동으로 수렴한다. 그러나 실증적 연구들은 평균 기반 알고리즘이 밴딧 피드백(bandit feedback) 환경에서 기존 무후회(no-regret) 대안들보다 더 느리게 수렴함을 보여준다. 본 연구는 미지의 기간(unknown horizon)과 밴딧 피드백 환경에서 평균 기반 알고리즘을 조사한다. 이 설정에서 우리는 알고리즘 정의 수열 $γ_t$에 대한 최초의 하한(lower bound)을 제시하여 이러한 알고리즘의 학습 속도에 대한 근본적인 한계를 규명한다. 다중 팔 밴딧(multi-armed bandit) 문제에서 이 결과는 임의의 알고리즘이 낮은 보상의 행동을 안정적으로 식별하는 동시에 이러한 지식에 따라 행동할 수 있는 속도를 제한한다. 또한 우리는 두 가지 평균 기반 알고리즘을 제안한다. 하나는 $ε$-greedy를 일반화한 것이고, 다른 하나는 평균 기반 Exp3를 미지의 기간으로 확장한 것이다. 실험을 통해 평균 기반 알고리즘이 다소 느리기는 하지만 다른 밴딧 피드백 알고리즘과 경쟁력 있는 성능을 보일 수 있음을 확인했다. 나아가 후회(regret)와의 관계를 추가로 연구한다. $γ_t$의 선택에 따라 무후회 알고리즘과의 교집합은 자명하지 않으며(non-trivial), 일부 알고리즘은 평균 기반이면서 동시에 무후회임을 보인다.

arXiv:2606.20062v1math.OC

평균 장 게임에서의 최적 거친 상관 균형: 선형 계획법과 후회 없는 학습

Optimal Coarse Correlated Equilibria in Mean Field Games: Linear Programming and No-Regret Learning

우리는 연속 시간 평균 장 게임(mean field games)에 대한 최적 거친 상관 균형(coarse correlated equilibria)을 소개합니다. 거친 상관 균형은 플레이어가 추천을 무시하고 대안 전략으로 전환함으로써 이득을 얻을 수 없는 무작위 추천 방식입니다. 문제는 다음과 같습니다: 조율자(moderator)는 모든 평균 장 거친 상관 균형 중에서 대표 플레이어의 목적과 다를 수 있는 규정된 성능 기준을 최적화하는 균형을 선택합니다. 문제를 정식화한 후, 우리는 선형 계획법(LP) 공식을 개발하고, 최적 LP 거친 상관 균형의 존재를 증명하며, LP 특성화를 원래의 확률적 설정과 연관시킵니다. 이 특성화를 기반으로, 우리는 외부 후회(external-regret) 제약 조건의 등가 라그랑주안(Lagrangian) 공식에 기초하여, 이러한 균형을 학습하기 위한 후회 없는(no-regret) 쌍대-원점 알고리즘을 설계합니다. 우리는 학습 알고리즘에 대한 명시적인 수렴(convergence) 속도를 제공하며, 수치적 예시가 해당 방법을 보여줍니다.