PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11711v2cs.LG

용량 제약이 있는 지연 피드백 온라인 볼록 최적화

Capacity-Constrained Online Convex Optimization with Delayed Feedback

Online learning with delayed feedback typically assumes that the learner can track all pending rounds until their feedback arrives. In practice, tracking resources are finite, and feedback from rounds that cannot be tracked is permanently lost. In this paper, we study delayed online convex optimization (OCO) under a hard capacity constraint, where at most $C$ pending rounds can be tracked at any time. To model delay information, we introduce a semi-clairvoyant model that refines the clairvoyant assumption from prior work: rather than requiring delays to be known at prediction time, the learner observes delay expirations online, consistent with the classical unconstrained delayed setting. Our approach proceeds via a reduction to a novel ``delayed and weighted'' OCO problem, using a scheduler that randomizes which rounds are tracked and importance-weights the resulting observations. For the base problem, we propose and analyze Delayed-Weighted FTRL and its bandit analogue, obtaining regret bounds that characterize how weights interact with delayed feedback in both settings. Combining these bounds with our schedulers yields regret guarantees for capacity-constrained OCO under convex and strongly convex losses, for both first-order and bandit feedback. For first-order feedback, capacity $C = \Omega(\log T)$ suffices to recover the standard delayed OCO rates up to logarithmic factors. For bandit feedback, the standard delayed BCO rates are instead modulated by $(1 + \sigma_{\text{max}}/C)$ factors, where $\sigma_{\text{max}}$ is the maximum number of outstanding observations. This allows the regret bound to degrade gracefully when $C < \sigma_{\text{max}}$. We complement our analysis with numerical experiments.

arXiv:2610.02258v1cs.LG

헤비테일 노이즈 하에서의 매개변수 없는 구간-동적 리그릿

Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise

본 논문에서는 라운드당 하나의 편향되지 않은 확률적 서브그래디언트(stochastic subgradient)와 미지의 유한한 조건부 $p$차 노이즈 모멘트($1<p\le2$)를 갖는 온라인 볼록 최적화(online convex optimization)를 연구합니다. 길이 $n$의 모든 고정된 구간 $I$ 및 $\Lambda_I=1+P_I/D$를 만족하는 비교자(comparator) 경로에 대해, 한 학습자는 다음을 달성합니다: \[ E[Regret_I(u)]\le\min(GDn, C[GD\sqrt{n(\Lambda_I+\log^2(2T))} +\sigma Dn^{1/p}(\Lambda_I+\log^2(2T))^{(p-1)/p}]). \] 이 학습자는 $G, \sigma, p, I, P_I$ 중 어느 것도 사용하지 않으며, 상수는 보편 상수입니다. 구간 적응(interval adaptation)은 비교자 복잡도를 증가시키면서도 서로 다른 평균 그래디언트 및 노이즈 지수를 보존합니다. 본 분석은 기댓값 측면에서 캘리브레이션을 제어하고 관측 스케일 변화에 따른 비용을 제한합니다. 일반 정리는 불균등 사전 분포(nonuniform prior)에 대한 상대 엔트로피 의존성을 바탕으로 예측 가능하게 가용한 전문가(expert)들의 분포와 비교합니다. 공통 사전 분포는 긴 윈도우와 긴 재시작 길이를 선호합니다. 제공된 통계량을 통해 구간 비용은 $1+\log(T/n)$이 되며, 전체 기간(full-horizon)에서의 최적 정적 수렴 속도(static rate)를 포함합니다. 측도 변환(change-of-measure) 하한은 명시적인 조건 하에서 전체 기간 최적 보장을 유지하는 학습자에 대해 이 로그 항의 노이즈 거듭제곱을 규명합니다. 정적 비교 및 결정론적 분할도 동일한 결정으로부터 도출됩니다.

arXiv:2607.10808v1cs.LG

Lower Bound on the Cumulative Constrained Violation for the OGD+Projection algorithm for Constrained Online Convex Optimization (COCO)

The problem of constrained online convex optimization is considered, where at each round, once a learner commits to an action $x_t \in \mathcal{X} \subset \mathbb{R}^d$, a convex loss function $f_t$ and a convex constraint function $g_t$ that drives the constraint $g_t(x)\le 0$ are revealed. The objective is to simultaneously minimize the static regret and cumulative constraint violation (CCV) compared to the benchmark that knows the loss functions and constraint functions $f_t$ and $g_t$ for all $t$ ahead of time, and chooses a static optimal action that is feasible with respect to all $g_t(x)\le 0$. Currently, the best known algorithm is OGD+Projection algorithm of [Vaze and Sinha, 2025] that has simultaneous regret of $O(\sqrt{T})$ and CCV of $O(T^{1/3})$ for $d=2$ [Balasundaram et al., 2026], and simultaneous regret of $O(\sqrt{T})$ and CCV of $O(\sqrt{T})$ for any $d$ [Sarkar and Sinha, 2026]. In this paper, we show that the CCV of the OGD+Projection algorithm is $Ω(T^{\frac{d-1}{2d}})$. This is the first such lower bound result.

arXiv:2603.25029v4cs.LG

이점 밴딧 피드백을 이용한 온라인 볼록 최적화의 로그적 고확률 후회 경계

Logarithmic High-Probability Regret for Online Convex Optimization with Two-Point Bandit Feedback

우리는 비선행 적응형 적대자(non-anticipating adaptive adversary)에 대한 이점 밴딧 피드백(two-point bandit feedback)을 이용한 온라인 볼록 최적화(OCO)를 연구한다. 이 설정에서 학습자는 볼록 손실의 적대적 시퀀스와 경쟁하며, 각 손실은 두 번의 함수 평가를 통해서만 관측된다. 강볼록(strongly convex) 손실에 대해, Agarwal, Dekel, Xiao~\citeyearpar{agarwal2010optimal}는 기댓값에서 비교자별 로그적 후회(regret) 경계를 증명하였다. 결과적으로, 확률 공간 외부에서 최소화함으로써 그들의 결과는 $\EB A_T-\min_{x\in\mathcal K}\EB L_T(x)$ 형태의 의사-후회(pseudo-regret) 보장을 산출하는데, 여기서 $A_T$는 알고리즘의 이점 쿼리 누적 손실이고 $L_T(x)$는 비교자의 누적 손실이다. 그들은 동일한 이점 강볼록 설정에서 로그적 고확률 보장이 달성 가능한지 물었다. 우리의 주요 정리는 대응하는 고정 비교자 고확률 명제를 제공한다: 알고리즘적 랜덤 방향과 독립적으로 고정된 임의의 비교자 $x\in\mathcal K$에 대해, 표준 이점 사영 그래디언트 방법은 확률 적어도 $1-δ$로 다음 순서의 이점 쿼리 후회 경계를 보장한다: \[ O\left(\frac{dG^2}μ\left(\log T+\log(1/δ)\right)+dGD\log(1/δ)+G\log T\left(1+\frac{D}{r}\right)\right). \] 비교자별 수준에서, 우리의 선도적 수평선 의존 항은 $d$에 선형인 반면, Agarwal, Dekel, Xiao의 원래 분석에서는 $d^2$ 유형의 항이 존재한다. 핵심 요소는 마팅게일 오차를 강볼록성으로 동시에 흡수하고 이점 방법의 선형-차원 추정기 제어를 보존하는 고신뢰 분석이다. 결정론적 커버링 논증(covering argument)은 이후 $\min_{x\in\mathcal K}L_T(x)$에 대한 실현된 전체 비교자 보장을 산출하며, 표준 커버링 수(covering-number) 인자를 대가로 $T$에 대한 로그적 의존성을 보존한다.

arXiv:2607.01665v1cs.LG

Revisiting Decentralized Online Convex Optimization with Compressed Communication

통신 압축이 적용된 분산 온라인 볼록 최적화(D-OCO)에서 기존 OGD 기반 알고리즘 대신 처음으로 FTRL 기반 알고리즘 두 가지를 제안하며, FTRL의 이중 변수 업데이트 메커니즘이 Choco-Gossip과 자연스럽게 결합됨을 보인다. 완전 정보 설정에서는 기존 후회 한계(regret bound)를 달성하고, 밴딧(bandit) 설정에서는 볼록 및 강볼록 함수 모두에서 후회 한계와 통신 비용을 동시에 개선한다.