PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02891v2cs.LG

오분류 리덕션을 통한 비정상 선형 밴딧의 동적 후회

Dynamic Regret for Non-Stationary Linear Bandits via Misspecification Reductions

Many online decision-making problems involve both round-specific feasible actions and drifting reward models: eligible ad impressions, feasible prices, and available treatments can change over time, while user preferences, demand curves, and patient responses may evolve. Motivated by these applications, we study non-stationary linear bandits with round-specific feasible decision sets. Our key contribution is a blockwise reduction that connects parameter drift in non-stationary linear bandits to model misspecification in contextual linear bandits while preserving the round-specific decision benchmark. This connection allows us to leverage misspecification-adaptive learning to obtain dynamic-regret guarantees for general time-varying decision sets. For a known path-length budget $P_T$, we establish these guarantees for general compact, adaptive non-anticipating decision sets under an oblivious parameter path, and for $K$-armed contextual linear bandits under an oblivious environment. For general time-varying decision sets, our bounds improve the dependence on $T$ and $P_T$ from the $\widetilde O(T^{3/4}P_T^{1/4})$ guarantees available for existing LinUCB-based approaches to $\widetilde O(T^{2/3}P_T^{1/3})$, matching the non-stationary lower-bound dependence up to logarithmic factors.

arXiv:2610.13407v1cs.LG

지속적 후보 집합을 활용한 선형 밴딧 가속화

Accelerating Linear Bandits with Persistent Candidate Sets

행동의 수가 $K$개로 매우 큰 고정된 집합을 갖는 선형 밴딧(linear bandit)에서는 완전 낙관적 점수 산출(exhaustive optimistic scoring)로 인해 라운드당 $\mathcal{O}(K)$회의 점수 평가가 필요하여 행동 선택 비용이 커질 수 있습니다. 본 논문에서는 $k$개의 활성 행동을 유지하고 매 라운드마다 나머지 $K-k$개 행동 중에서 $q$개의 도전자(challenger)를 균등하게 표본추출하는 Persistent Candidate LinUCB(\textsc{PC-LinUCB})를 제안합니다. 이 $k+q$개의 후보에 대해서만 점수를 평가함으로써, \textsc{PC-LinUCB}는 라운드당 점수 평가 횟수를 $\mathcal{O}(k+q)$로 줄입니다. 고정된 신뢰 수준에서 표준 선형 밴딧 학습 항과 $\mathcal{O}\left((K-k)\log(K-k)/q\right)$ 차수의 추가적 탐색 비용(discovery cost)으로 구성된 문제 독립적(problem-independent) 및 문제 의존적(problem-dependent) 고확률 후회 경계(regret bound)를 증명합니다. 특히, 이 추가 비용은 시간 지평(horizon)에 따라 증가하지 않습니다. 고정된 간격(gap)과 충분히 긴 시간 지평에 대해 균등 도전자 표본추출 조건 하에서 $\Omega\left((K-k)/q\right)$ 후회 하한을 도출하여, 부분 후보 접근 자체가 불가피한 후회 비용을 수반함을 보여줍니다. 실험 결과, \textsc{PC-LinUCB}는 유사한 수준의 후회를 유지하면서 LinUCB의 속도를 대폭 가속하며, 지속적 후보 메커니즘이 LinUCB를 넘어 다른 알고리즘으로도 확장될 수 있음을 보입니다.

arXiv:2608.14319v2cs.LG

양자 다중 팔 밴딧 및 선형 밴딧: 하한과 알고리즘

Quantum Multi-Armed Bandits and Linear Bandits: Lower Bounds and Algorithms

본 논문에서는 학습자가 양자 보상(reward) 오라클 또는 그 역원을 통해 각 팔(arm)이나 행동을 질의하는 양자 다중 팔 밴딧(QMAB) 및 양자 선형 밴딧(QLB)을 연구합니다. 이전 연구에서는 $K$개의 팔을 가진 QMAB에 대해 $O(K\log T)$, $d$차원 QLB에 대해 $O(d^2\operatorname{polylog} T)$의 후회(regret)를 달성하는 시간 범위 $T$에 대한 알고리즘을 제시했습니다. 그러나 이는 $K$와 $T$에 대한 최적의 의존성과 $d$에 대한 의존성을 추가로 개선할 수 있는지 여부를 미해결 상태로 남겨두었습니다. 본 연구에서는 QMAB에 대해 $\Theta(K\log(1+T/K))$라는 최초의 엄밀한 미니맥스(minimax) 후회 경계를 증명하고, 유한 행동 QLB에 대해 $T$와 무관한 후회를 배제하는 최초의 하한인 $\Omega(d\log(1+T/d))$를 증명합니다. 본 연구의 하한은 고정된 보상 평균을 대안 구간과 구별하기 위한 고신뢰도 단일 팔 양자 테스팅 하한에 기반합니다. 이후 밴딧-테스팅 축소(reduction)를 통해 이를 QMAB 하한으로 확장하며, 선형 임베딩(embedding)을 통해 유한 행동 QLB 하한을 도출합니다. 이에 대응하는 QMAB 상한은 양자 몬테카를로(QMC) 추정량의 꼬리 경계(tail bound)를 사용하여 도출됩니다. 유한 행동 QLB의 경우, 설계 가중치에 맞춘 질의 할당을 통해 낮은 바이어스(bias) 및 낮은 분산을 갖는 양자 평균 추정량과 작은 지지 집합(small-support)을 갖는 $G$-최적 설계를 결합한 단계별 제거(phased elimination) 알고리즘을 제안합니다. 행동 집합의 크기가 $\operatorname{poly}(d)$일 때, 이 알고리즘의 후회는 $d$에 대해 거의 선형적이며 다항 로그 인자(polylogarithmic factor) 범위 내에서 본 연구의 하한과 일치합니다.

arXiv:2609.27594v1cs.LG

클러스터 인식 스케칭을 통한 효율적인 선형 밴딧

Efficient Linear Bandits via Cluster-Aware Sketching

본 논문에서는 유한한 아암 집합(finite arm set)을 갖는 고차원 환경에서 선형 밴딧(linear bandit)의 계산 효율성 문제를 연구합니다. 선형 밴딧에서는 특징(feature) 벡터의 차원 $d$가 증가함에 따라 매 업데이트 라운드마다 $O(d^2)$의 계산 비용이 증가하게 됩니다. SOFUL과 같은 전통적인 스케칭(sketching) 기반 방법들은 고정된 크기의 행렬 스케칭을 통해 계산량을 줄이지만, 데이터의 스펙트럼 꼬리(spectral tail)가 두껍고 스케치 크기가 적절히 선택되지 않을 때 무의미한 선형 후회(linear regret)를 초래할 위험이 있습니다. 후회 수렴(convergence)을 보장하고 계산 비용을 효과적으로 줄이기 위해, 우리는 클러스터링 메커니즘을 도입하고 클러스터 스케치 선형 밴딧(CS-LB) 알고리즘을 제안합니다. 제안하는 방법은 스펙트럼 꼬리 취약점 없이 강건한 서브리니어 후회(sublinear regret)를 보장하도록 각 클러스터 내에서 전체 공분산 정보를 보존하고, 각 클러스터에 센티널(sentinel)을 할당하여 클러스터 전환을 수행하며, 조정 가능한 스케치 크기 $l<d$를 통해 라운드당 업데이트 계산량을 $O(l^2d)$로 줄입니다. 합성 데이터셋에 대한 실험은 제안된 방법이 효율성과 후회 간의 유리한 절충(trade-off)을 일관되게 유지함을 보여줍니다.

arXiv:2607.14706v1cs.LG

MESHA: 전략적 선형 밴딧을 위한 메커니즘 강제 순차 절반화

MESHA: Mechanism-Enforced Sequential Halving for Strategic Linear Bandits

전략적 선형 밴딧(strategic linear bandits)에서 최적 팔 식별(Best Arm Identification, BAI)을 위한 알고리즘인 MESHA(Mechanism-Enforced Sequential Halving)를 설계하고 분석한다. 이 설정에서 보상은 각 팔의 관측 불가능한 진실 특징으로부터 생성되며, 각 팔은 최적 팔로 식별될 확률을 극대화하기 위해 자신의 특징 벡터를 전략적으로 허위 보고할 수 있다. MESHA의 설계는 순진한 균등 샘플링 규칙과 에포크 단위 Grim Trigger Condition(GTC)을 적용한다. 전자는 팔의 전략적 행동의 영향을 줄이고, 후자는 보고된 특징이 ground truth에서 크게 벗어난 팔을 제거한다. 임의의 내시 균형(Nash Equilibrium)을 고려하여, 어떤 팔도 식별 확률을 극대화하기 위해 GTC 검사를 통과하려 시도함을 증명하고, 고정 예산 $T$ 내에서 MESHA의 실패 확률에 대한 상한을 유도한다. 또한 $G$-최적 설계($G$-optimal design)를 사용하는 최신 선형 BAI 알고리즘이 이러한 전략적 환경에서 실패함을 보인다. 전략적으로 보고된 특징에 기반한 최적 설계(OD) 기반 샘플링 규칙이 최적 팔에 어떠한 샘플링 예산도 배분하지 못하게 할 수 있기 때문이다. 마지막으로, 광범위한 수치 실험이 MESHA가 OD 기반 샘플링 규칙에 의존하는 기준선뿐 아니라 특징 무관(feature-agnostic) 기준선보다 우수함을 나타내며, MESHA의 효과를 뒷받침한다.

arXiv:2606.28616v1cs.LG

절댓값 섭동을 통한 선형 밴딧의 무작위 탐험

Randomized Exploration for Linear Bandits via Absolute Perturbations

확률적 선형 밴딧(stochastic linear bandits)에서 표준적인 상한 신뢰 구간(UCB) 알고리즘은 간단한 빈도주의 후회(regret) 분석을 허용하지만 계산 비용이 클 수 있는 반면, 톰슨 샘플링(Thompson Sampling, TS)은 계산 효율이 높지만 낙관적이지 않은 특성으로 인해 분석이 일반적으로 더 어렵다. 본 논문에서는 부호 있는 탐험(exploration) 노이즈를 절댓값으로 대체함으로써 기댓값 측면에서 낙관성을 보장하는 TS의 간단한 변형인 절댓값 톰슨 샘플링(Absolute Thompson Sampling, ATS)을 제안한다. 이는 TS의 계산 효율성을 유지하면서 TS 분석에서 흔히 요구되는 기술적으로 복잡한 반집중(anti-concentration) 논증을 피할 수 있어, UCB 방식의 단순한 후회 분석이 가능하다. ATS가 $\tilde{O}(d^{3/2}\sqrt{K})$의 후회를 달성함을 보이며, 이는 선형 밴딧에서 TS에 대한 기존 경계와 일치한다. 나아가 앙상블(ensemble) 크기로 정규화(normalization)하여 여러 절댓값 섭동에 대한 최댓값을 취하는 앙상블 절댓값 톰슨 샘플링(Ensemble Absolute Thompson Sampling, EATS)을 도입한다. 앙상블 크기가 커질수록 EATS는 UCB 목적함수로 수렴하여 극한에서 UCB 동작을 회복한다. 실험 결과, 중간 크기의 앙상블만으로도 이미 강력한 성능을 발휘함을 보인다. 본 결과는 이론과 실제 모두에서 무작위 탐험과 결정론적 낙관주의 사이의 가교를 제시한다.

arXiv:2510.24187v3stat.ML

선형 밴딧을 위한 자기일치 교란

Self-Concordant Perturbations for Linear Bandits

적대적 선형 밴딧(adversarial linear bandits) 설정에서 FTRL과 FTPL을 통합하는 Bandits-Gbpa 프레임워크를 제시하고, 자기일치 교란(self-concordant perturbations)을 활용한 새로운 SC-FTPL 알고리즘을 도입한다. 제안된 알고리즘은 $d$차원 하이퍼큐브에서 기존 SCRiBLe 대비 $\sqrt{d}$ 향상된 $\mathcal{O}(d\sqrt{n \ln n})$의 후회(regret)를 달성하며, $\ell_2$ 볼에서도 SCRiBLe과 동등한 성능을 별도의 도메인별 샘플링 기법 없이 실현한다.