용량 제약이 있는 지연 피드백 온라인 볼록 최적화
Capacity-Constrained Online Convex Optimization with Delayed Feedback
지연된 피드백을 갖는 온라인 학습은 일반적으로 학습자가 피드백이 도착할 때까지 보류 중인 모든 라운드를 추적할 수 있다고 가정한다. 실제로는 추적 자원이 유한하며, 추적할 수 없는 라운드의 피드백은 영구적으로 손실된다. 본 논문에서는 어느 시점에서든 최대 $C$개의 보류 라운드만 추적할 수 있는 엄격한 용량 제약 아래의 지연 온라인 볼록 최적화(OCO)를 연구한다. 지연 정보를 모형화하기 위해 선행 연구의 선견(clairvoyant) 가정을 정교화한 준선견(semi-clairvoyant) 모델을 도입한다. 이는 예측 시점에 지연을 알아야 한다고 요구하는 대신, 제약 없는 고전적 지연 설정과 마찬가지로 학습자가 지연 만료를 온라인으로 관측하도록 한다. 우리의 접근은 어느 라운드를 추적할지 무작위로 정하고 그 결과 관측값에 중요도 가중치를 부여하는 스케줄러를 사용하여, 새로운 ``지연 및 가중'' OCO 문제로 환원하는 방식으로 진행된다. 기본 문제에 대해 Delayed-Weighted FTRL과 그 밴딧 유사 알고리즘을 제안하고 분석하며, 두 설정 모두에서 가중치가 지연된 피드백과 어떻게 상호작용하는지 특성화하는 후회 한계를 얻는다. 이 한계를 스케줄러와 결합하면 볼록 및 강볼록 손실, 1차 및 밴딧 피드백 모두에 대해 용량 제약 OCO의 후회 보장을 얻는다. 1차 피드백에서는 용량 $C = \Omega(\log T)$이면 로그 인자를 제외하고 표준 지연 OCO 비율을 회복하기에 충분하다. 밴딧 피드백에서는 표준 지연 BCO 비율이 $(1 + \sigma_{\text{max}}/C)$ 인자로 조절되며, 여기서 $\sigma_{\text{max}}$는 미해결 관측의 최대 개수이다. 이로써 $C < \sigma_{\text{max}}$일 때에도 후회 한계가 점진적으로 나빠진다. 분석을 수치 실험으로 보완한다.