PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2412.08843v3stat.ML

분산 인식 UCB 하에서의 할당 안정성 및 왈드 추론

Allocation Stability and Wald Inference under Variance-Aware UCB

할당 안정성(allocation stability)은 밴딧 데이터로부터 가우시안 추론(Gaussian inference)을 정당화하는 데 자주 사용되지만, 이것이 언제 필수적일까요? 본 논문에서는 시계(horizon)에 따라 변할 수 있는 유계 보상 분포를 갖는 2-암(two-armed), 고정 시계 분산 인식 UCB(variance-aware UCB) 정책에 대해 이 질문을 다룹니다. 우리는 차선 암(suboptimal arm)의 선택 횟수는 항상 안정적인 반면, 최적 암(optimal arm)의 선택 횟수가 상대 오차가 소멸하는 결정론적 근사를 허용하는지 여부를 결정하는 보상 격차 및 분산 측면에서의 명확한 기준(sharp criterion)을 밝혀냅니다. 최적 암 선택 횟수의 잠재적 불안정성에도 불구하고, 각 암에 대해 선택 횟수와 보상 분산의 곱이 확률수렴으로 발산하기만 한다면, 암 평균들의 선형 결합에 대한 일반 왈드 통계량(Wald statistic)이 모든 고정된 0이 아닌 계수 벡터에 대해 표준정규 극한을 가짐을 보입니다. 그러나 동일한 조건 하에서, 이러한 가우시안 근사가 결정론적인 0이 아닌 계수 벡터들에 대해 균등하게 성립하는 것은 최적 암 선택 횟수가 안정적일 때에만 성립합니다. 본 분석은 두 가지 주요 요소를 기반으로 합니다. (i) 최종 최적 암 선택 횟수가 원래 정책의 횟수와 점근적으로 동등하면서 최적 암의 보상 수열과는 독립적인 보조 정책과의 경로별(pathwise) 비교, 그리고 (ii) 원래 정책 하에서 재스케일링된 최적 암 선택 횟수와 두 개의 스튜던트화 표본 평균 오차에 대한 결합 극한이며, 이는 시계에 따라 변하는 계수를 갖는 암 평균의 특정 선형 결합에 대해 비표준 왈드 극한을 도출합니다.