PyTorchKR Papers

최신 논문

총 20편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11711v2cs.LG

용량 제약이 있는 지연 피드백 온라인 볼록 최적화

Capacity-Constrained Online Convex Optimization with Delayed Feedback

Online learning with delayed feedback typically assumes that the learner can track all pending rounds until their feedback arrives. In practice, tracking resources are finite, and feedback from rounds that cannot be tracked is permanently lost. In this paper, we study delayed online convex optimization (OCO) under a hard capacity constraint, where at most $C$ pending rounds can be tracked at any time. To model delay information, we introduce a semi-clairvoyant model that refines the clairvoyant assumption from prior work: rather than requiring delays to be known at prediction time, the learner observes delay expirations online, consistent with the classical unconstrained delayed setting. Our approach proceeds via a reduction to a novel ``delayed and weighted'' OCO problem, using a scheduler that randomizes which rounds are tracked and importance-weights the resulting observations. For the base problem, we propose and analyze Delayed-Weighted FTRL and its bandit analogue, obtaining regret bounds that characterize how weights interact with delayed feedback in both settings. Combining these bounds with our schedulers yields regret guarantees for capacity-constrained OCO under convex and strongly convex losses, for both first-order and bandit feedback. For first-order feedback, capacity $C = \Omega(\log T)$ suffices to recover the standard delayed OCO rates up to logarithmic factors. For bandit feedback, the standard delayed BCO rates are instead modulated by $(1 + \sigma_{\text{max}}/C)$ factors, where $\sigma_{\text{max}}$ is the maximum number of outstanding observations. This allows the regret bound to degrade gracefully when $C < \sigma_{\text{max}}$. We complement our analysis with numerical experiments.

arXiv:2610.13407v1cs.LG

지속적 후보 집합을 활용한 선형 밴딧 가속화

Accelerating Linear Bandits with Persistent Candidate Sets

행동의 수가 $K$개로 매우 큰 고정된 집합을 갖는 선형 밴딧(linear bandit)에서는 완전 낙관적 점수 산출(exhaustive optimistic scoring)로 인해 라운드당 $\mathcal{O}(K)$회의 점수 평가가 필요하여 행동 선택 비용이 커질 수 있습니다. 본 논문에서는 $k$개의 활성 행동을 유지하고 매 라운드마다 나머지 $K-k$개 행동 중에서 $q$개의 도전자(challenger)를 균등하게 표본추출하는 Persistent Candidate LinUCB(\textsc{PC-LinUCB})를 제안합니다. 이 $k+q$개의 후보에 대해서만 점수를 평가함으로써, \textsc{PC-LinUCB}는 라운드당 점수 평가 횟수를 $\mathcal{O}(k+q)$로 줄입니다. 고정된 신뢰 수준에서 표준 선형 밴딧 학습 항과 $\mathcal{O}\left((K-k)\log(K-k)/q\right)$ 차수의 추가적 탐색 비용(discovery cost)으로 구성된 문제 독립적(problem-independent) 및 문제 의존적(problem-dependent) 고확률 후회 경계(regret bound)를 증명합니다. 특히, 이 추가 비용은 시간 지평(horizon)에 따라 증가하지 않습니다. 고정된 간격(gap)과 충분히 긴 시간 지평에 대해 균등 도전자 표본추출 조건 하에서 $\Omega\left((K-k)/q\right)$ 후회 하한을 도출하여, 부분 후보 접근 자체가 불가피한 후회 비용을 수반함을 보여줍니다. 실험 결과, \textsc{PC-LinUCB}는 유사한 수준의 후회를 유지하면서 LinUCB의 속도를 대폭 가속하며, 지속적 후보 메커니즘이 LinUCB를 넘어 다른 알고리즘으로도 확장될 수 있음을 보입니다.

arXiv:2610.11082v1stat.ML

커널 밴딧(Kernel Bandits)에 대한 일반적인 $\widetildeΩ(\sqrt{Tγ_T})$ 하한

A General $\widetildeΩ(\sqrt{T γ_T})$ Lower Bound for Kernel Bandits

커널 밴딧(kernel bandit) 문제는 주어진 재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS)에서 유계 노름(bounded norm)을 갖는 미지의 함수를 잡음이 있는 피드백(noisy feedback)을 통해 순차적으로 최적화하는 문제이다. 커널 밴딧의 후회(regret) 분석에서 중심이 되는 양은 최대 정보 획득량(maximum information gain) $γ_T$이다. 특히, 기존에 알려진 가장 좋은 상한(upper bound)은 로그 항(log factor)을 제외하면 $\sqrt{Tγ_T}$로 스케일링되며, 제곱 지수(squared exponential) 커널과 마테른(Matérn) 커널과 같은 특정 커널에 대해서는 이와 거의 일치하는 하한(lower bound)이 도출되어 왔다. 그러나 일반적인 커널에 대한 하한은 부족하여, 어느 정도의 일반성에서 상한이 근사 최적(near-optimal)인지가 불분명하다. 본 논문에서는 콤팩트 정의역(compact domain) 상의 비상수 연속 커널(non-constant continuous kernel)에 대해 일반적인 $Ω(\sqrt{Tγ_T/\log T})$ 미니맥스 후회 하한을 수립하여, 매우 일반적인 의미에서 (로그 항 범위 내에서의) 근사 최적성을 입증한다. 우리는 이 하한에 나타나는 로그 항이 일반적으로는 피할 수 없음을 보이지만, 특정 조건 하에서는 이를 제거할 수 있음을 보인다. 특히 우리의 결과는 $ν\in (0,2)$인 마테른-$ν$(Matérn-$ν$) 커널, $γ\in (0,2)$인 $γ$-지수(γ-exponential) 커널, 그리고 특정 조각별 다항식(piecewise-polynomial) 커널에 대해 미니맥스 최적 스케일링이 (상수 인자 범위 내에서) 정확히 $Θ(\sqrt{Tγ_T})$임을 함의한다.

arXiv:2608.14319v2cs.LG

양자 다중 팔 밴딧 및 선형 밴딧: 하한과 알고리즘

Quantum Multi-Armed Bandits and Linear Bandits: Lower Bounds and Algorithms

본 논문에서는 학습자가 양자 보상(reward) 오라클 또는 그 역원을 통해 각 팔(arm)이나 행동을 질의하는 양자 다중 팔 밴딧(QMAB) 및 양자 선형 밴딧(QLB)을 연구합니다. 이전 연구에서는 $K$개의 팔을 가진 QMAB에 대해 $O(K\log T)$, $d$차원 QLB에 대해 $O(d^2\operatorname{polylog} T)$의 후회(regret)를 달성하는 시간 범위 $T$에 대한 알고리즘을 제시했습니다. 그러나 이는 $K$와 $T$에 대한 최적의 의존성과 $d$에 대한 의존성을 추가로 개선할 수 있는지 여부를 미해결 상태로 남겨두었습니다. 본 연구에서는 QMAB에 대해 $\Theta(K\log(1+T/K))$라는 최초의 엄밀한 미니맥스(minimax) 후회 경계를 증명하고, 유한 행동 QLB에 대해 $T$와 무관한 후회를 배제하는 최초의 하한인 $\Omega(d\log(1+T/d))$를 증명합니다. 본 연구의 하한은 고정된 보상 평균을 대안 구간과 구별하기 위한 고신뢰도 단일 팔 양자 테스팅 하한에 기반합니다. 이후 밴딧-테스팅 축소(reduction)를 통해 이를 QMAB 하한으로 확장하며, 선형 임베딩(embedding)을 통해 유한 행동 QLB 하한을 도출합니다. 이에 대응하는 QMAB 상한은 양자 몬테카를로(QMC) 추정량의 꼬리 경계(tail bound)를 사용하여 도출됩니다. 유한 행동 QLB의 경우, 설계 가중치에 맞춘 질의 할당을 통해 낮은 바이어스(bias) 및 낮은 분산을 갖는 양자 평균 추정량과 작은 지지 집합(small-support)을 갖는 $G$-최적 설계를 결합한 단계별 제거(phased elimination) 알고리즘을 제안합니다. 행동 집합의 크기가 $\operatorname{poly}(d)$일 때, 이 알고리즘의 후회는 $d$에 대해 거의 선형적이며 다항 로그 인자(polylogarithmic factor) 범위 내에서 본 연구의 하한과 일치합니다.

arXiv:2606.00956v2cs.LG

1단계 룩어헤드 베이지안 최적화의 리그렛 보장을 향하여

Towards Regret Guarantees for One-Step Lookahead Bayesian Optimization

본 논문에서는 1단계 룩어헤드(one-step lookahead) 베이지안 최적화(BO) 기법의 이론적 보장을 연구한다. 엔트로피 탐색(entropy search)과 같은 1단계 룩어헤드 BO 기법들의 실증적 유효성은 광범위하게 연구되어 왔으나, 이러한 기법들은 계산적으로 다루기 힘든 근사에 의존하는 경우가 많으며 리그렛(regret) 보장은 여전히 충분히 개발되지 않은 상태이다. 이에 따라 본 논문에서는 사후 표본추출(posterior sampling)과 몬테카를로 근사만을 필요로 하는 1단계 룩어헤드 BO 기법인 최적점 분산 감소(OVR)를 분석한다. 연구진은 획득 함수(acquisition function) 계산 시 입력 도메인 전반에 대한 균일한 몬테카를로 추정 오차 한계를 도출한다. 나아가 탐험을 촉진하도록 약간 수정한 정규화된 OVR이 점근적으로 0으로 수렴하는 베이지안 기대 단순 리그렛 상한을 달성함을 보인다. 마지막으로 수치 실험을 통해 OVR 및 정규화된 OVR의 성능을 검증한다.

arXiv:2602.07144v3cs.LG

BONSAI: 자연스러운 단순성과 해석 가능성을 갖춘 베이즈 최적화

BONSAI: Bayesian Optimization with Natural Simplicity and Interpretability

베이즈 최적화(Bayesian optimization, BO)는 블랙박스 함수의 표본 효율적 최적화(sample-efficient optimization)를 위해 널리 사용되는 기법입니다. 많은 응용 분야에서 튜닝 대상 파라미터는 정교하게 설계된 기본 설정(default configuration)과 함께 제공되며, 실무자들은 꼭 필요한 경우에만 이 기본값에서 벗어나기를 원합니다. 그러나 표준 BO는 기본값으로부터의 편차를 최소화하는 것을 목표로 하지 않으며, 실제로는 중요도가 낮은 파라미터를 탐색 공간의 경계로 밀어내는 경우가 많습니다. 이는 중요 변경사항과 무의미한 변경사항을 구분하기 어렵게 만들고, 최적화 목적함수에 관련 운영 고려사항이 누락되었을 때 추천된 설정을 검토하는 부담을 가중시킵니다. 본 논문에서는 획득 가치(acquisition value)의 손실(loss)을 명시적으로 제어하면서 기본 설정 대비 영향력이 적은 편차를 가지치기(pruning)하는 기본값 인식(default-aware) BO 정책인 BONSAI를 소개합니다. BONSAI는 기대 개선량(expected improvement)과 상한 신뢰 구간(GP-UCB)을 포함한 다양한 획득 함수(acquisition function)와 호환됩니다. 우리는 BONSAI에 의해 발생하는 후회(regret)의 이론적 상계를 제시하여, 적절한 조건 하에서 기본 GP-UCB의 무후회(no-regret) 특성을 유지하면서 무관한 변경사항을 제거함을 증명합니다. 다양한 실제 응용 전반에 걸쳐, BONSAI가 실행 시간(wall time)에 거의 영향을 주지 않으면서 경쟁력 있는 최적화 성능을 유지함과 동시에 추천 설정에서 기본값이 아닌 파라미터의 수를 실질적으로 줄임을 실험적으로 확인했습니다. BONSAI의 후보 생성 비용은 표준 BO 대비 평균 1.5배에 불과하여, 기존 희소(sparse) BO 기법들의 7~34배와 대비됩니다.

arXiv:2605.09454v3stat.ML

단일 인덱스 밴딧의 최적 후회

Optimal Regret for Single Index Bandits

비단조(non-monotone) 보상 함수를 가진 단일 인덱스 밴딧(single-index bandit) 문제에서 기존 최선의 후회(regret) 상한인 $\tilde{\mathcal{O}}(T^{3/4})$를 개선하기 위해, 정규화된 Stein 추정량으로 투영 방향을 추정한 뒤 이산화와 UCB를 결합한 ZoomSIB-UCB 알고리즘을 제안한다. 이 알고리즘은 $\tilde{\mathcal{O}}(T^{2/3})$의 후회를 달성하며, 일치하는 미니맥스 하한 $\tilde{\Omega}(T^{2/3})$을 함께 증명하여 일반 단일 인덱스 밴딧의 최적 후회 스케일링이 $\Theta(T^{2/3})$임을 확정한다.

arXiv:2601.09825v3cs.LG

Eluder 차원: 국소화하라!

Eluder dimension: localise it!

일반화 선형 모델 클래스의 Eluder 차원에 대한 하한을 증명하여, 표준 Eluder 차원 기반 분석이 1차 후회 상계로 이어질 수 없음을 보인다. 이를 해결하기 위해 Eluder 차원에 대한 국소화(localisation) 방법을 제안한다. 우리의 분석은 Bernoulli bandit에 대한 고전적 결과를 즉시 복원하고 개선하며, 누적 보상이 유계인 유한 수평선(finite-horizon) 강화학습 과제에서 최초의 진정한 1차 상계를 가능하게 한다.

arXiv:2603.08287v3stat.ML

Posterior Sampling Reinforcement Learning with Gaussian Processes for Continuous Control: Sublinear Regret Bounds for Unbounded State Spaces

기존 GP-PSRL(가우시안 과정 사후 샘플링 강화학습) 이론은 리그렛(regret) 증가율이 준최적이 아니거나 강한 평활성 가정, 무한 상태 공간 미반영 등의 한계가 있었다. Borell-Tsirelson-Ibragimov-Sudakov 부등식과 chaining 방법으로 실제 방문 상태가 거의 일정 반경 구 내에 있음을 보이고, 약한 평활성 조건에서 베이지안 리그렛 상한을 Õ(H√(γ_T T))로 증명해 PSRL 분석의 이론적 기반을 마련한다.

arXiv:2607.10808v1cs.LG

Lower Bound on the Cumulative Constrained Violation for the OGD+Projection algorithm for Constrained Online Convex Optimization (COCO)

The problem of constrained online convex optimization is considered, where at each round, once a learner commits to an action $x_t \in \mathcal{X} \subset \mathbb{R}^d$, a convex loss function $f_t$ and a convex constraint function $g_t$ that drives the constraint $g_t(x)\le 0$ are revealed. The objective is to simultaneously minimize the static regret and cumulative constraint violation (CCV) compared to the benchmark that knows the loss functions and constraint functions $f_t$ and $g_t$ for all $t$ ahead of time, and chooses a static optimal action that is feasible with respect to all $g_t(x)\le 0$. Currently, the best known algorithm is OGD+Projection algorithm of [Vaze and Sinha, 2025] that has simultaneous regret of $O(\sqrt{T})$ and CCV of $O(T^{1/3})$ for $d=2$ [Balasundaram et al., 2026], and simultaneous regret of $O(\sqrt{T})$ and CCV of $O(\sqrt{T})$ for any $d$ [Sarkar and Sinha, 2026]. In this paper, we show that the CCV of the OGD+Projection algorithm is $Ω(T^{\frac{d-1}{2d}})$. This is the first such lower bound result.

arXiv:2603.25029v4cs.LG

이점 밴딧 피드백을 이용한 온라인 볼록 최적화의 로그적 고확률 후회 경계

Logarithmic High-Probability Regret for Online Convex Optimization with Two-Point Bandit Feedback

우리는 비선행 적응형 적대자(non-anticipating adaptive adversary)에 대한 이점 밴딧 피드백(two-point bandit feedback)을 이용한 온라인 볼록 최적화(OCO)를 연구한다. 이 설정에서 학습자는 볼록 손실의 적대적 시퀀스와 경쟁하며, 각 손실은 두 번의 함수 평가를 통해서만 관측된다. 강볼록(strongly convex) 손실에 대해, Agarwal, Dekel, Xiao~\citeyearpar{agarwal2010optimal}는 기댓값에서 비교자별 로그적 후회(regret) 경계를 증명하였다. 결과적으로, 확률 공간 외부에서 최소화함으로써 그들의 결과는 $\EB A_T-\min_{x\in\mathcal K}\EB L_T(x)$ 형태의 의사-후회(pseudo-regret) 보장을 산출하는데, 여기서 $A_T$는 알고리즘의 이점 쿼리 누적 손실이고 $L_T(x)$는 비교자의 누적 손실이다. 그들은 동일한 이점 강볼록 설정에서 로그적 고확률 보장이 달성 가능한지 물었다. 우리의 주요 정리는 대응하는 고정 비교자 고확률 명제를 제공한다: 알고리즘적 랜덤 방향과 독립적으로 고정된 임의의 비교자 $x\in\mathcal K$에 대해, 표준 이점 사영 그래디언트 방법은 확률 적어도 $1-δ$로 다음 순서의 이점 쿼리 후회 경계를 보장한다: \[ O\left(\frac{dG^2}μ\left(\log T+\log(1/δ)\right)+dGD\log(1/δ)+G\log T\left(1+\frac{D}{r}\right)\right). \] 비교자별 수준에서, 우리의 선도적 수평선 의존 항은 $d$에 선형인 반면, Agarwal, Dekel, Xiao의 원래 분석에서는 $d^2$ 유형의 항이 존재한다. 핵심 요소는 마팅게일 오차를 강볼록성으로 동시에 흡수하고 이점 방법의 선형-차원 추정기 제어를 보존하는 고신뢰 분석이다. 결정론적 커버링 논증(covering argument)은 이후 $\min_{x\in\mathcal K}L_T(x)$에 대한 실현된 전체 비교자 보장을 산출하며, 표준 커버링 수(covering-number) 인자를 대가로 $T$에 대한 로그적 의존성을 보존한다.

arXiv:2402.07391v3stat.ML

다중 슬롯머신에서 재현 가능성은 점근적으로 무비용이다

Replicability is Asymptotically Free in Multi-armed Bandits

우리는 데이터셋에 내재된 무작위성에 의해 알고리즘의 행동 시퀀스가 영향을 받지 않음을 높은 확률로 보장하는 재현 가능한 확률적 다중 슬롯머신(multi-armed bandit) 알고리즘을 고려한다. 재현 가능성은 제3자가 발표된 연구 결과를 재현할 수 있게 하고, 원래 연구자가 표준 통계 검정을 적용하는 데 도움을 준다. 기존 알고리즘은 비재현 알고리즘보다 $O(K^2/\rho^2)$배 더 많은 후회(regret)를 요구함을 확인하였으며, 여기서 $K$는 팔(arm)의 수이고 $\rho$는 비재현 수준이다. 그러나 신뢰 구간의 크기를 신중하게 선택한다면, 주어진 $K, \rho$에 대해 시간 지평 $T$가 충분히 클 때 이러한 추가 비용은 불필요함을 입증한다. 따라서 $T$가 클 때, 우리의 알고리즘은 기존 알고리즘보다 $K^2/\rho^2$배 적은 양의 탐험만을 필요로 한다. 제안된 알고리즘의 재현 가능성을 보장하기 위해, 의사결정 과정에 무작위성을 도입한다. 비재현 확률을 제한하는 원칙적인 접근 방식을 제안하며, 이 접근 방식은 기존 연구가 암묵적으로 따라온 절차를 명확히 설명한다. 나아가, 이중 팔 재현 가능 밴딧 문제에 대한 최초의 하한을 도출하며, 이는 이중 팔의 경우 제안된 알고리즘이 $\log\log T$ 인수 이내에서 최적임을 함의한다.

arXiv:2607.02196v1cs.LG

Online Resource Allocation with Continuous Random Consumption: Regret under Degeneracy

보상과 소비 크기가 모두 연속 분포를 따르는 온라인 자원 배분 문제에서, 유체 완화(fluid relaxation)의 비퇴화(non-degeneracy) 가정 없이 후회(regret)를 특징짓는 분포 지수 p를 도입하여, p=1일 때 O((log T)²), p>1일 때 O(T^{1/2−1/(2p)} polylog T)의 상한과 일치하는 하한을 증명한다. 샘플 경로 마진 정책(sample-path marginal policy)이 이 경계를 달성하며, 이는 쌍대 비유일성(dual non-uniqueness)과 원시 퇴화(primal degeneracy)를 모두 허용하면서도 o(√T) 후회를 보장한다.

arXiv:2607.02150v1cs.DS

Tight Lower Bounds for the Multi-Secretary Problem via Bellman Certificates

멀티-시크리터리 문제(multi-secretary problem)에서 분포의 지지 구간(support)에 공백이 있을 때 온라인 정책의 최적 후회(regret)가 $O((\log T)^2)$임을 Bellman 인증서(Bellman certificate) 기법을 통해 하한 측면에서 tight하게 증명하였다. 두 개의 분리된 균등 분포 혼합 사례에서 $\Omega((\log T)^2)$ 하한을 확립하여, 기존 상한 경계가 더 이상 개선될 수 없음을 보임으로써 네트워크 수익 관리(network revenue management) 모델에도 직접 적용 가능한 결론을 제시한다.

arXiv:2607.01080v1cs.LG

Balancing Expressivity and Learnability in Quantum Kernel Bandit Optimization

양자 커널(quantum kernel)을 이용한 가우시안 프로세스(GP) 밴딧 최적화에서 고차원 양자 커널이 정보 이득을 높여 누적 후회(regret)를 증가시키는 학습 어려움을 해결하기 위해, 선형 투영 양자 커널(LPQK)과 랜덤 푸리에 피처(RFF) 기반 고전적 커널 근사 기법을 제안한다. 이를 통해 근사 오차와 정보 이득 간의 트레이드오프를 분석한 후회 경계를 도출하고, NISQ 시대의 양자 제어·변분 양자 알고리즘 등 실제 태스크에서 전체 양자 커널 대비 샘플 효율성과 계산 비용 모두 개선됨을 실험적으로 검증한다.

arXiv:2602.01903v3cs.LG

온라인 테이블형 MDP를 위한 데이터 및 분산 의존적 후회 경계

Data- and Variance-dependent Regret Bounds for Online Tabular MDPs

본 연구는 전이 확률이 알려진 온라인 에피소딕 테이블형 마르코프 결정 프로세스(MDP)를 분석하고, 적대적 체제에서는 정제된 데이터 의존적 후회 경계를, 확률적 체제에서는 분산 의존적 후회 경계를 달성하는 최선-양립(best-of-both-worlds) 알고리즘을 개발한다. MDP 복잡도를 정량화하기 위해 1차 척도와 더불어 적대적 체제를 위한 여러 새로운 데이터 의존적 척도—2차 척도 및 경로 길이 척도—와 확률적 체제를 위한 분산 기반 척도를 사용한다. 이러한 척도에 적응하기 위해, 로그-배리어 정규화를 적용한 낙관적 정규화 리더 추종(optimistic follow-the-regularized-leader)을 공통 기반으로 하는 전역 최적화 및 정책 최적화 기반 알고리즘을 개발한다. 전역 최적화의 경우, 제안 알고리즘은 적대적 체제에서 1차, 2차, 경로 길이 후회 경계를 달성하며, 확률적 체제에서는 분산 인식 갭 독립적 경계와 에피소드 수에 대해 다중로그적인 분산 인식 갭 의존적 경계를 달성한다. 정책 최적화의 경우, 새로운 낙관적 Q-함수 추정기를 활용하여 에피소드 호라이즌 배수 이내에서 동일한 데이터 및 분산 의존적 적응성을 달성한다. 마지막으로, 적대적 체제의 데이터 의존적 복잡도 척도와 확률적 체제의 분산 척도에 대한 후회 하한을 확립하며, 이는 전역 최적화 접근법이 달성하는 후회 상한이 거의 최적임을 시사한다.

arXiv:2606.20022v1stat.ML

유계 노이즈를 갖는 확률적 선형 문맥 밴딧: 집합 소속 접근법

Stochastic Linear Contextual Bandits with Bounded Noise: A Set-Membership Approach

본 논문은 유계 보상 노이즈(bounded reward noise)를 갖는 확률적 선형 문맥 밴딧(SLCB)을 다룹니다. 기존 연구들은 일반적으로 sub-가우시안 보상 노이즈와 유계 기대 보상(bounded expected rewards)을 가정하며, 이 조건에서 호라이즌(horizon) $T$에 대한 최적 후회 상한(regret bound)은 $\tilde{O}(\sqrt{T})$의 스케일을 갖습니다. 그러나 많은 응용 분야에서 실현/관측된 보상 또한 자연스럽게 유계이며, 이는 유계 보상 노이즈를 의미합니다. 유계 노이즈는 sub-가우시안 조건보다 더 많은 정보를 제공하지만, SLCB 문헌에서는 명시적으로 활용되지 않았습니다. 본 논문에서는 집합 소속 추정(set-membership estimation, SME)이라는 불확실성 정량화 방법을 활용하고 불확실성 하의 낙관주의(Optimism in the Face of Uncertainty, OFU) 원칙을 적용하여 새로운 알고리즘인 SME-OFU를 제안합니다. 우리의 알고리즘은 개선된 $O(\log T)$ 후회 상한을 달성합니다. 유계 노이즈는 더 강한 조건이므로, 이것이 sub-가우시안 노이즈에 대한 기존의 최적 상한인 $\tilde{O}(\sqrt{T})$와 모순되지 않음에 유의하십시오. 마지막으로, 시뮬레이션 결과 보상 노이즈가 유계일 때 SME-OFU가 sub-가우시안 노이즈용으로 설계된 벤치마크 알고리즘보다 경험적으로 개선된 성능을 보임을 확인했습니다.

arXiv:2510.19528v2stat.ML

온라인 강화학습을 형성하기 위한 상한-하한 값 엔벨로프 학습: 원칙에 기반한 접근법

Learning Upper Lower Value Envelopes to Shape Online RL: A Principled Approach

우리는 오프라인 데이터를 활용하여 온라인 강화학습(reinforcement learning)을 가속화하는 근본적인 문제를 조사합니다. 이는 강력한 잠재력을 가지지만 이론적 기반이 제한적인 방향입니다. 우리 연구는 이 맥락에서 값 엔벨로프(value envelopes)를 학습하고 적용하는 방법에 중점을 둡니다. 이를 위해 우리는 원칙에 기반한 2단계 프레임워크를 제안합니다. 첫 번째 단계는 오프라인 데이터를 사용하여 가치 함수(value functions)의 상한과 하한을 도출하고, 두 번째 단계는 학습된 이 경계를 온라인 알고리즘에 통합합니다. 우리의 방법은 상한과 하한을 분리(decoupling)함으로써 기존 연구를 확장하여, 더 유연하고 더 정밀한 근사를 가능하게 합니다. 고정된 형성 함수(shaping functions)에 의존하는 접근법과 달리, 우리의 엔벨로프는 데이터 기반이며 명시적으로 확률 변수로 모델링되며, 단계 간의 독립성을 보장하는 필트레이션 인수(filtration argument)를 사용합니다. 분석 결과는 해석 가능한 두 가지 양에 의해 결정되는 고확률 리그렛 바운드(regret bounds)를 확립하며, 이를 통해 오프라인 사전학습(pre-training)과 온라인 미세조정(fine-tuning) 사이의 형식적인 연결 고리를 제공합니다. 표 형식 MDP(tabular MDPs)에 대한 실증적 결과는 UCBVI 및 기존 방법들과 비교하여 상당한 리그렛 감소를 보여주며, 관련 접근법들과 비교하여도 경쟁력을 유지합니다.

arXiv:2603.09276v2stat.ML

베이지안 최적화를 위한 톰슨 샘플링의 후회 경계에 대하여

On Regret Bounds of Thompson Sampling for Bayesian Optimization

우리는 목적 함수가 GP(가우시안 프로세스)의 샘플 경로라는 가정 하에 널리 사용되는 베이지안 최적화 방법인 가우시안 프로세스 톰슨 샘플링(GP-TS)을 연구합니다. 고확률 및 기대 후회 경계가 확립된 GP 상위 신뢰 구간(GP-UCB)과 비교할 때, GP-TS에 대한 대부분의 분석은 기대 후회로 제한되어 있습니다. 또한, 관대한 후회(Lenient regret)와 개선된 누적 후회 상한에 대한 GP-UCB의 최근 분석이 GP-TS에 적용될 수 있는지 여부는 여전히 불분명합니다. 이러한 공백을 메우기 위해, 본 논문은 다음과 같은 여러 후회 경계를 제시합니다: (i) GP-TS가 확률 $δ$로 $1/δ$에 대한 다항식 의존성을 겪는다는 것을 시사하는 GP-TS의 후회 하한, (ii) $δ$에 대한 개선된 후회 상한을 직접적으로 시사하는 누적 후회의 2차 모멘트 상한, (iii) 기대 관대한 후회 상한, 그리고 (iv) 시간 지평 $T$에 대한 개선된 누적 후회 상한. 아울러, 우리는 $T$에 대한 개선된 후회 상한을 얻기 위해 최근 분석의 필요 조건을 완화한 것을 포함하여 여러 유용한 보조정리를 제공합니다.

arXiv:2510.02149v2cs.LG

행동 트리거 관측 기반 강화학습

Reinforcement Learning with Action-Triggered Observations

본 논문에서는 Action-Triggered Sporadically Traceable Markov Decision Processes(ATST-MDPs)를 소개합니다. 이는 부분 관측 가능성(partial observability)을 위한 강화학습 프레임워크로, 각 단계에서 전체 상태 관측이 선택된 행동에 의해 결정되는 확률로 확률적으로 발생합니다. 우리는 이 설정에 맞춘 벨만 방정식(Bellman equations)을 유도하고 최적 정책(optimal policy)의 존재를 확립합니다. 간헐적 관측이 전체 상태를 드러낸다는 점을 활용하여, 에이전트가 연속적인 관측 사이의 행동 시퀀스(action-sequences)에 대해 수행하는 것으로 동등한 정형화를 제공합니다. 선형 MDP(linear MDP) 가정 하에서, 우리는 이러한 행동 시퀀스에 대한 가치 함수(value function)가 유한 차원 특징 맵(feature map)에서 선형 표현을 가짐을 보여주어, 표준 회귀 기반 방법을 적용할 수 있음을 입증합니다. 응용으로서, 우리는 기하 분포를 따르는 시간 지평(horizons)을 가진 에피소드 학습에 대해 $\widetilde{O}(\sqrt{Kd^3(1-γ)^{-3}})$의 리그릿(regret)을 달성하는 낙관적 알고리즘인 ATST-LSVI-UCB를 도출합니다. 여기서 $K$는 에피소드 수, $d$는 특징(feature) 차원, $γ$는 할인 계수(에피소드 지속 확률)이며, 이는 완전 관측 가능성(full observability)을 갖는 선형 MDP에 대한 알려진 비율과 일치합니다.