Tight Lower Bounds for the Multi-Secretary Problem via Bellman Certificates
원문 초록
This paper studies additive regret in the multi-secretary problem, defined as the gap between the expected offline prophet reward and the reward of the best online policy. Prior work established \(O(\log T)\) regret for bounded-density distributions with connected support and \(O((\log T)^2)\) upper bounds for bounded-density distributions with support gaps. It was unknown whether the extra logarithmic factor is necessary even in the one-resource model. We prove that it is necessary. For a mixture of two separated uniform distributions at the critical capacity, the optimal regret grows at least on the order of \((\log T)^2\). Thus the existing \(O((\log T)^2)\) upper bounds for bounded-density gapped instances, including those implied by network revenue management models with continuous rewards, are tight in this simplest specialization. The same framework also yields a matching lower bound for gapped distributions whose gap-facing densities vanish near the support edges; this companion result is given in the appendix. The proofs use Bellman certificates: feasible solutions to a relaxation of the exact Bellman recursion. This framework converts lower bounds into explicit certificate constructions and identifies why support gaps permit larger regret.
요약
멀티-시크리터리 문제(multi-secretary problem)에서 분포의 지지 구간(support)에 공백이 있을 때 온라인 정책의 최적 후회(regret)가 $O((\log T)^2)$임을 Bellman 인증서(Bellman certificate) 기법을 통해 하한 측면에서 tight하게 증명하였다. 두 개의 분리된 균등 분포 혼합 사례에서 $\Omega((\log T)^2)$ 하한을 확립하여, 기존 상한 경계가 더 이상 개선될 수 없음을 보임으로써 네트워크 수익 관리(network revenue management) 모델에도 직접 적용 가능한 결론을 제시한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02150v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
지속적 후보 집합을 활용한 선형 밴딧 가속화
Accelerating Linear Bandits with Persistent Candidate Sets
행동의 수가 $K$개로 매우 큰 고정된 집합을 갖는 선형 밴딧(linear bandit)에서는 완전 낙관적 점수 산출(exhaustive optimistic scoring)로 인해 라운드당 $\mathcal{O}(K)$회의 점수 평가가 필요하여 행동 선택 비용이 커질 수 있습니다. 본 논문에서는 $k$개의 활성 행동을 유지하고 매 라운드마다 나머지 $K-k$개 행동 중에서 $q$개의 도전자(challenger)를 균등하게 표본추출하는 Persistent Candidate LinUCB(\textsc{PC-LinUCB})를 제안합니다. 이 $k+q$개의 후보에 대해서만 점수를 평가함으로써, \textsc{PC-LinUCB}는 라운드당 점수 평가 횟수를 $\mathcal{O}(k+q)$로 줄입니다. 고정된 신뢰 수준에서 표준 선형 밴딧 학습 항과 $\mathcal{O}\left((K-k)\log(K-k)/q\right)$ 차수의 추가적 탐색 비용(discovery cost)으로 구성된 문제 독립적(problem-independent) 및 문제 의존적(problem-dependent) 고확률 후회 경계(regret bound)를 증명합니다. 특히, 이 추가 비용은 시간 지평(horizon)에 따라 증가하지 않습니다. 고정된 간격(gap)과 충분히 긴 시간 지평에 대해 균등 도전자 표본추출 조건 하에서 $\Omega\left((K-k)/q\right)$ 후회 하한을 도출하여, 부분 후보 접근 자체가 불가피한 후회 비용을 수반함을 보여줍니다. 실험 결과, \textsc{PC-LinUCB}는 유사한 수준의 후회를 유지하면서 LinUCB의 속도를 대폭 가속하며, 지속적 후보 메커니즘이 LinUCB를 넘어 다른 알고리즘으로도 확장될 수 있음을 보입니다.
TCP 확인응답을 위한 동시 경쟁비 및 리그렛 보장
Simultaneous Competitive and Regret Guarantees for TCP Acknowledgment
본 연구는 TCP 확인응답(acknowledgment)에 대한 동시 경쟁비(competitive ratio) 및 리그렛(regret) 보장을 다룬다. 각 확인응답은 대기 중인 모든 패킷을 처리하며, 목표는 총 확인응답 비용과 대기 비용의 합을 최소화하는 것이다. 결정론적(deterministic) 온라인 알고리즘으로는 경쟁비 $2$보다 더 나은 성능을 달성할 수 없다는 것이 잘 알려져 있다. $k$개의 무작위화된(randomized) 온라인 전문가(expert)와 $0<\varepsilon<1$가 주어졌을 때, 우리는 실현된 총 비용이 오프라인 최적 비용 $\mathrm{OPT}$의 $(2+\varepsilon)$배를 항상 넘지 않으며, 실현 비용이 가장 작은 전문가에 대한 기대 리그렛이 $O(\sqrt{\mathrm{OPT}\log(k+1)}+\log(1/\varepsilon))$인 무작위화된 온라인 알고리즘을 구성한다. 이 알고리즘은 패킷 수나 $\mathrm{OPT}$에 대한 사전 지식을 요구하지 않는다. 우리의 알고리즘은 전문가 간 전환 비용(switching cost)을 제어하며, 허용된 경쟁비 한계와 현재 비용 사이의 격차를 이용하여 언제 학습할지를 결정한다. 또한 우리는 $k\ge 2$일 때 이 리그렛 한계가 $\mathrm{OPT}$, $k$, $\varepsilon$에 대해 점근적으로(asymptotically) 최적임을, 그리고 하위선형(sublinear) 리그렛을 위해서는 $\varepsilon>0$이 필요함을 보이는 하한(lower bound)을 증명한다.
다중 스케일 행렬 가중치를 통한 온라인 역 선형 최적화의 정밀 후회 상한
Tight Regret Bound for Online Inverse Linear Optimization via Multiscale Matrix Weights
고정된 알려지지 않은 선형 효용(utility)을 갖는 온라인 역 선형 최적화를 연구한다. 각 라운드에서 환경(environment)은 컴팩트 행동 집합을 제시하고, 학습자(learner)는 그 집합에서 행동(action)을 추천하며, 환경은 동일한 집합 위에서 효용을 최대화하는 행동을 반환한다. 효용 벡터와 행동이 $d$차원 유클리드 단위 구(unit ball) 안에 있을 때, 시간 지평(time horizon)을 알 필요 없이 모든 시간 지평에 대해 기대 후회(regret)---최적 행동 대비 누적 효용 부족분---가 $O(\sqrt d)$인 무작위 알고리즘을 제시한다. $d$에 대한 의존성은 $T\ge d$인 지평에 대한 알려진 $\Omega(\sqrt d)$ 하한에 의해 상수 배수까지 최적이다. 우리 알고리즘은 기하학적으로 간격을 둔 스케일에서 다항식 특징(feature) 공간上的 행렬 곱셈 가중(matrix multiplicative weights)을 유지한다. 선형 프로그램(linear program)을 풀어 추천 분포를 선택하고, 이용 가능한 행동과 피드백 행동을 비교하여 점수 행렬을 갱신한다. 유리수 oracle 출력과 피드백 행동 하에서, 선형 최적화 oracle에 상대적으로 계산 가능한 구현이 $O(\sqrt d)$ 후회 상한을 유지한다. 차원, 지평, 입력 길이에 대해 다항 시간 실행 복잡도로 동일한 rate를 달성할 수 있는지는 열려 있다.
재해결 없이 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법
Resource-Adaptive Stochastic Gradient Descent for Online Linear Programming without Re-solving
대규모 언어 모델(LLM) 추론과 검색 서비스의 확대는 온라인 선형 계획 문제의 규모를 키우며, 계산적으로 효율적인 알고리즘을 요구한다. 본 연구는 확률적 온라인 선형 계획을 위한 자원 적응형 확률적 경사하강법(RASGD)을 제안한다. 이 알고리즘은 요청 하나와 현재 재고(inventory)만으로 자원 가격을 갱신하며, 자원 m개에 대해 도착(arrival)마다 O(m) 연산과 메모리만 필요하고 LP나 표본 평균 최적화(sample-average optimization)는 사용하지 않는다. 핵심은 재해결(re-solving)에서 쓰이는 현재 자원 가격 책정 로직을 1차 SGD 갱신으로 표현하는 것이다. 각 도착마다 이중 목적(dual objective)의 잔여 재고 허용량(allowance)을 갱신하고, 스텝 크기(stepsize)는 초기에는 학습을 위해 작아지다가 이후에는 재고 조정 속도에 맞추어 커진다. 표준 비퇴화(non-degeneracy) 조건 하에서 알고리즘은 모든 표본 경로(sample path)에서 실행 가능(feasible)하며, 실현된 분수적 후견 최적(realized fractional hindsight optimum) 대비 O(\log T) 기대 후회(expected regret)를 달성한다. 이는 분포를 알고 계산 제약이 없는 정책에 대한 하한과 일치한다. 분석은 변화하는 자원 수준에서 최적 가격을 추적하지 않고, 고정 참조 가격 주변의 곡률(curvature)을 재고 안정성(inventory stability)으로 전환한다. 수치 실험에서 RASGD는 도착마다 LP 재해결과 견줄 만한 후회를 달성하고, 시험한 1차 기준선(first-order baselines)보다 나으면서 1차 방법의 계산 효율은 유지한다. 이 결과는 RASGD가 대규모 OLP에서 높은 할당 품질을 계산 효율적으로 달성하는 접근임을 보여준다.
KL 발산을 통한 궤적 정규화 확률적 최적 제어
Trajectory-Regularized Stochastic Optimal Control via KL Divergence
우리는 표준 확률적 최적 제어(SOC)에 제어된 궤적 분포와 기준 궤적 분포 사이의 쿨백-라이블러(KL) 발산을 증강한 궤적 정규화 확률적 최적 제어(TRSOC)를 소개한다. 기르사노프 정리를 활용하면 궤적 KL은 2차 드리프트 불일치 페널티로 단순화되어 동적 계획법(DP) 구조를 보존하는 수정된 실행 비용을 산출한다. 우리는 이에 대응하는 해밀턴-야코비-벨만(HJB) 방정식을 유도하고 최적 정책을 특성화한다. 선형-2차(LQ) 설정에서 이 정식화는 증강된 제어 비용을 갖는 닫힌 형태의 해를 허용한다. 실험을 통해 정규화 매개변수가 성능 중심 행동과 기준 보존 행동 간의 절충(trade-off)을 유도함을 보이며, 여기에는 오프라인 데이터로부터 학습된 기준 동역학을 사용하는 경우가 포함된다.
Finite-Time Analysis of the Natural Policy Gradient in Finite-Horizon Markov Decision Processes
자연 정책 그래디언트(NPG)는 신뢰 영역 정책 최적화(Trust Region Policy Optimization) 및 근위 정책 최적화(Proximal Policy Optimization)와 같이 널리 사용되는 방법의 기반이 되는, 잘 정립된 강화학습 알고리즘이며, 이들 방법 모두 강력한 실증적 성공을 보여주었다. 본 논문에서는 동역학이 알려져 있고 수평선 의존적 전이 커널(horizon-dependent transition kernels)을 갖는 유한 수평선 마르코프 결정 과정(Markov Decision Processes)에서 정확한 NPG를 연구한다. 이 설정에서 해당 알고리즘에 대한 최초의 유한 시간 수렴 보장을 제공하며, 상수 및 증가하는 학습률(step size) 체제를 모두 고려한다. 상수 학습률 $η_t=η$에 대해, NPG가 $t$회 반복 후 $\mathcal{O}(H^{2}/t)$의 속도로 아선형(sublinear) 수렴함을 증명한다. 여기서 $H$는 수평선 길이이다. 또한 이 상수 학습률 분석을 전체 지지(full support) 투영 분포 하의 정확한 모집단 투영 오라클(population-projection oracle)에서의 선형 MDP로 확장하여, 테이블(tabular) 설정과 동일한 아선형 속도를 재현한다. 더 나아가 증가하는 학습률에 대해서는, 이 알고리즘이 문제 의존 상수 $\vartheta_ρ> 1$에 대해 $\mathcal{O}\left(\left(1-\frac{1}{\vartheta_ρ}\right)^t\right)$의 선형 수렴 속도를 달성함을 증명하며, $η_0>0$ 및 $H \geq 2$인 형태 $η_t=η_0(H/(H-1))^t$의 수평선만 의존하는(horizon-only) 강건 스케줄(robust schedule)이 동일한 기하(geometric) 속도를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.