PyTorchKR Papers

최신 논문

총 47편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.00419v5stat.ML

매개변수 없는 그룹 조건부 온라인 컨포멀 예측

Parameter-Free and Group Conditional Online Conformal Prediction

Quantifying the uncertainty in predictions made by machine learning models is challenging in online settings where the characteristics of the data and labels change over time. Online conformal prediction (OCP) methods tackle this problem by producing intervals for each observation and guaranteeing that a proportion of them contain their labels, a property known as marginal coverage. OCP methods, however, may systematically miscover observations belonging to groups defined by attributes like age or race, raising fairness concerns. Group-conditional OCP (G-OCP) methods address this by producing intervals that provide coverage for multiple groups. Existing approaches rely on learning rates, which control how they react to changes in the data stream, but can be hard to tune in online settings. Leveraging advancements in learning-rate-free methods, we develop a learning-rate-free G-OCP algorithm with strong group-coverage guarantees that hold under weaker assumptions than those required in prior work. Empirical results show that our method provides group coverage, produces interval lengths competitive with those of standard methods, and reacts more effectively to changes in the data than fixed-learning-rate methods.

arXiv:2607.02050v3cs.LG

A Memory Efficient Unified Algorithm for Online Learning of Linear Dynamical Systems

Motivated by the challenge of stabilizing a general unknown linear dynamical system (LDS) from observations, we study the natural prerequisite of online prediction. Our goal is to achieve sublinear regret with a memory footprint that adapts to the intrinsic complexity of the dynamics rather than the full hidden-state dimension. We focus on the practically central regime of systems with low instability complexity -- eigenvalues outside the real stable interval that do not decay rapidly, together with non-semisimple modes -- potentially embedded in an otherwise stable real spectrum of much higher dimension; we write $k$ for this count. This regime is the primary setting in which stabilization is plausible: we show that many systems with high instability complexity cannot be stabilized without exponentially large controls. Thus, prediction is meaningful for stabilization precisely when the instability complexity is small. Within this regime, we introduce a unified online algorithm that handles every LDS (including non-diagonalizable systems with complex or exploding modes) with a learnable parameter count of $\widetilde{O}(k)$. Finally, we prove a lower bound showing that $k$ is a valid complexity measure: any filter-based predictor needs at least $k$ filters. Experiments corroborate our theory: on a high-dimensional system, our predictor sharply outperforms prior methods at an equal parameter budget.

arXiv:2607.13686v2cs.LG

일반 함수 근사 하에서의 최적·효율적 문맥적 조합 세미-밴딧

Optimal and Efficient Contextual Combinatorial Semi-bandits with General Function Approximation

We study the contextual combinatorial semi-bandit (CCSB) problem, where at each round, the learner observes a context, selects a combinatorial action consisting of a subset of basic arms, and receives the reward of each selected arm; its goal is to maximize its cumulative reward over time. While many previous works focus on CCSB problems with linear reward function approximation, the design of efficient algorithms for the CCSB problem with general reward function approximation is limited. In this work, we study the realizable setting where the learner has access to a reward function class $\mathcal{F}$ that contains the true reward function, and propose the $\mathrm{SquareCB{.}Comb}$ algorithm. We prove that $\mathrm{SquareCB{.}Comb}$ achieves a minimax optimal regret bound of $O(\sqrt{m A T \log |\mathcal{F}|})$, where $A$ is the number of arms, $m$ is the maximum number of arms in a combinatorial action, and $T$ is the time horizon. In addition, $\mathrm{SquareCB{.}Comb}$ is computationally efficient when we have an online regression oracle that can efficiently predict rewards of all arms given contexts, and the combinatorial action set admits either efficient linear optimization or efficient sampling given any target marginal probability on arms. We empirically verify the effectiveness of our algorithm in webpage recommendation and contextual shortest path problems.

arXiv:2610.15954v1cs.LG

인스턴스 적응형 온라인 다중 클래스 다중 보정

Instance-Adaptive Online Multiclass Multicalibration

본 논문에서는 $T$ 라운드에 걸친 온라인 다중 클래스 다중 보정(online multiclass multicalibration)을 연구하고, 최악의 경우를 넘어서는(beyond-worst-case) 보장을 제공하는 알고리즘을 제시한다. $n$개의 가능한 결과가 주어질 때, 예측값은 $d=n-1$ 차원의 심플렉스(simplex) 내에 존재한다. 최악의 경우 누적 $\ell_1$ 다중 보정 오차의 스케일링은 $\widetildeΘ(T^{(d+1)/(d+2)})$를 따르며, 이는 $d$가 작은 상수를 넘어서면 감당하기 어려워진다. 본 연구의 알고리즘은 실현된 시퀀스의 기하학적 구조에 적응한다. 즉, 적대적으로 선택된 결과 평균의 시퀀스가 $s$ 차원의 아핀 부분공간(affine subspace)에 속하는 경우, 높은 확률로 $\widetilde O(n^{1/(s+2)}T^{(s+1)/(s+2)})$의 오차를 달성한다. 이 알고리즘은 해당 부분공간이나 그 차원을 알지 못하더라도 이러한 구조에 적응한다. $T\ge n\ge2$에 대해 이 속도는 다항 로그(polylogarithmic) 인수를 제외하고 미니맥스 최적(minimax optimal)이다. 고정된 조건부 평균을 갖는 확률적 인스턴스의 경우, 이 상한은 $\widetilde O(\sqrt{nT})$로 특화되어 시계(horizon)에 대해 제곱근 의존성을 제공한다.

arXiv:2610.13881v1cs.LG

예측은 충분한 메모리 상태가 아니다

Prediction Is Not a Sufficient Memory State

현재의 모든 예측(prediction)을 그대로 재현하는 메모리(memory)라 할지라도 다음 관측값으로부터 학습하는 방법은 잊어버렸을 수 있다. 우리는 정확한 누적 학습(cumulative learning)과 어텐션(attention)에 대해 이러한 구분을 규명한다. 제약이 없는 실수 특징(feature)과 레이블(label)을 가진 매끄러운 볼록 잔차 손실(smooth convex residual loss)에 대해, 고정된 차원의 연속적인 순환 상태(recurrent state)는 손실(loss)이 다항식(polynomial)일 때에만 정확히 존재한다. 일반적인, 가중치가 없는 관측값의 경우, 차수(degree) $D$는 정확히 $r=\binom{d+D}{D}-1$개의 좌표(coordinate)를 필요로 한다; 현재 예측자(predictor)가 하나로 고정된 히스토리(history) 사이에서도, 연속(continuation)을 위해 정확히 $r-d$개의 좌표가 여전히 필요할 수 있다. 다항식이 아닌 손실(nonpolynomial loss)은 이러한 동일 예측 히스토리(equal-prediction history)에 대해 무한한 요구사항을 가진다. 유계 스칼라 로지스틱(logistic) 예제는 임의의 유한 도함수(derivative) 제트(jet)를 고정한 후에도 이러한 장애(obstruction)를 유지한다. 리지 회귀(ridge regression)의 경우, 숨겨진 증거는 설계 행렬(design matrix)이다: 정확한 상태는 $dp+d(d+1)/2$의 비용이 드는 반면, 예측자(predictor)는 $dp$의 비용이 든다. 잘 조건화된(well-conditioned) 제로 예측 패밀리(zero-prediction family)에서, 최적의 $B$비트 압축(compression)은 임의의 무작위화된 코드(randomized code)를 사용하더라도 $d^{-1}2^{-2B/s_d}$ ($s_d=d(d+1)/2$) 차수의 평균 1회 업데이트 오차를 갖는다. 커널(kernel) 어텐션(attention)은 두 번째의 정확한 닫힘 분류(closure classification)를 제공한다. 이 결과들은 새로운 회귀(regression) 알고리즘을 제안하거나 학습된 모델(trained model)의 성능 향상을 주장하기보다는, 미래의 업데이트가 드러내는 것이 무엇인지를 규명한다.

arXiv:2610.11074v1cs.LG

예산 지출 조절과 학습의 최적 페이싱

Optimally Pacing Budget Spending and Learning

본 논문에서는 적대적 환경(adversarial setting)에서 임의의 예산 조절(budget-pacing) 전문가 집단에 대한 예산 제약 온라인 학습의 준최적(near-optimal) 리그릿 상한(regret bound)을 규명합니다. 구체적으로, 임의의 $F$개 전문가 집단과 후보 예산 페이싱 스케줄이 주어졌을 때, 누적 지출이 이 스케줄과 거리 $D$ 이내로 유지되는 모든 전문가에 대해 $O(D \sqrt{\log F}+ \sqrt{T\log F})$의 리그릿을 달성하는 완전 정보(full-information) 알고리즘을 제시하며, 이는 Braverman 등(2025)이 제시한 하한과 일치합니다. 나아가 학습자가 이용 가능한 현재 옵션의 보상과 비용을 관측할 수 있는 다양한 온라인 자원 할당 문제로 본 기법이 확장됨을 보이고, 분수 할당(fractional allocation)이 허용될 때 $O(D\sqrt{\log F})$ 리그릿 상한을 확립합니다. 이는 우리가 아는 한 이러한 과제에서 $o(\sqrt{T})$ 보장을 달성할 수 있는 최초의 알고리즘입니다.

arXiv:2605.17705v2stat.ML

비교환 패널 데이터를 위한 온라인 등분산 예측

Online Conformal Prediction for Non-Exchangeable Panel Data

본 논문에서는 부분적으로 관측되는 패널 데이터에서의 온라인 등분산 예측(online conformal prediction)을 연구합니다. 이 환경에서는 각 대상 결과(target outcome)가 나타나기 전에 동료 결과(peer outcome)들의 새로운 횡단면이 먼저 관측되며, 대상 피드백은 간헐적이거나 부재할 수 있고, 개체(unit)나 라운드 모두 교환가능성(exchangeability)을 만족할 필요가 없습니다. 본 연구는 개체 이력으로부터 학습된 유사도 가중치와 적응형 대상 맞춤 미적중률(miscoverage level)을 결합한 가중치 기반 시계열 분위수 조정(Weighted Temporal Quantile Adjustment, W-TQA) 방식을 제안합니다. 이론적으로 대상-동료 간 불일치(mismatch)와 비공개 라운드에서의 커버리지 모두 식별 가능하지 않음을 증명함으로써, 개체 간 유사도 및 피드백 메커니즘에 대한 가정을 피할 수 없음을 밝힙니다. 또한 이러한 불일치를 바탕으로 과거 조건부 미적중률의 상계를 도출하고, 프로파일 유사도 가정하에서 가중치 학습 비용을 수량화하며, 가장 큰 동료 점수를 대체값으로 사용하는 실제 구현 절차가 완전 무작위 결측(MCAR) 피드백 및 캘리브레이션 패널의 실행 가능성 조건하에서 장기 평균 커버리지를 달성함을 보입니다. 합성 패널 및 실제 비동기 미국-도쿄 주식 패널을 포함한 4개의 실제 패널 데이터 실험에서, W-TQA는 모든 패널에서 가장 낮은 커버리지를 보였던 대상 개체들에 대해 가장 높은 커버리지를 달성했습니다. 유사도 가중치는 대상 피드백이 희소할 때 가장 크게 기여하는 반면, 시계열 적응은 피드백이 축적될수록 더 큰 효과를 보였습니다.

arXiv:2610.02661v1cs.LG

AIGS: 비정상 데이터 스트림에서의 온라인 표현 학습을 위한 적응형 점진적 게이팅 시스템

AIGS: Adaptive Incremental Gating System for Online Representation Learning in Non-Stationary Data Streams

사물 웹(WoT) 및 엣지 컴퓨팅 환경의 실시간 데이터 스트림은 잠재적인 체제 변화(regime changes)를 거치며 진화하는 경우가 많습니다. 엄격한 계산 제약 하의 온라인 표현 학습(online representation learning)에서 핵심 문제는 유용한 과거 지식을 유지하면서 개념 드리프트(concept drift)에 신속하게 반응하는 안정성-가소성 딜레마(stability-plasticity dilemma)를 해결하는 것입니다. 기존 방법들은 고정된 업데이트 일정이나 롤링 윈도우를 사용합니다. 그러나 이러한 방식은 급격한 변화가 발생할 때 매개변수 경직화(parameter ossification)를 겪고, 스트림이 안정적으로 유지될 때는 계산 자원을 낭비합니다. 본 논문에서는 경량 폐루프 상태 인지 적응 프레임워크인 적응형 점진적 게이팅 시스템(AIGS, Adaptive Incremental Gating System)을 제안합니다. AIGS는 최근 변동성에 대해 현재 재구성 오차를 정규화하는 내생적 잔차 피드백 메커니즘인 Shock Ratio를 도입합니다. 이 신호는 학습 가소성과 기억 유지 사이를 부드럽게 보간하는 연속 가소성 컨트롤러(Continuous Plasticity Controller)를 구동합니다. 표현 학습을 폐루프 제어 메커니즘으로 다룸으로써, AIGS는 치명적 망각(catastrophic forgetting)을 방지하고 지연 시간에 민감한 엣지 디바이스에 적합한 스텝당 엄격한 선형 복잡도 $\mathcal{O}\left(k\cdot d\right)$를 유지합니다. 교통 네트워크, 기상 시스템, 산업 인프라를 아우르는 실제 스마트 시티 동적 스트림에 대한 실험은 도메인에 따라 뚜렷한 이점을 보여줍니다. Electricity Transformer Temperature 데이터셋에서 AIGS는 점진적인 성능 저하 상황에서 8.31(ETTm1) 및 9.88(ETTm2) 스텝의 예방적 조기 경보 리드 타임을 달성합니다. Performance Measurement System 교통 데이터셋에서는 급격한 변화 이후 훨씬 빠른 변화 후 회복 속도를 보입니다. 노이즈가 매우 심한 Weather 데이터셋에서는 확률적 노이즈 과적합을 방지하면서 이상치 재현율을 향상시킵니다. 이러한 결과는 AIGS가 자원 제약이 있는 엣지 모니터링 시스템을 위한 실용적인 플러그 앤 플레이 어댑터임을 입증합니다.

arXiv:2609.27206v1stat.ML

전문가 조언을 활용한 예측: 다수 전문가 환경에서 상시 후회가 고정 시간 상수에 일치함

Prediction with Expert Advice: Anytime Regret with Many Experts Matches the Fixed-Time Constant

전문가 조언을 활용한 예측(prediction with expert advice)은 온라인 학습(online learning)의 근본적인 문제입니다. 시간 범위(time horizon) $T$가 사전에 알려져 있을 때, $n$명의 전문가에 대한 미니맥스 누적 후회(minimax cumulative regret)는 점근적으로 $\sqrt{\frac{T \ln n}{2}}$입니다. 이는 $T$에 맞추어 조정된 학습률을 사용하는 곱셈 가중치 업데이트(Multiplicative Weights Update) 알고리즘을 통해 달성되며, 타이트한(tight) 것으로 알려져 있습니다. 반면 후회 상한(regret bound)이 모든 시점 $t$에서 동시에 성립해야 하는 경우, 기존에 알려진 최선의 보장은 $\sqrt{2}$배 더 나쁜 $\sqrt{t \ln n}$이었으며, 이 $\sqrt{2}$ 계수가 필수적인지는 알려지지 않은 채로 남아 있었습니다. 본 연구에서는 이것이 필수적이지 않음을 보입니다. 본 논문에서는 시간 범위에 대한 사전 지식을 요구하지 않으면서도, 누적 후회가 모든 $t \ge 1$에 대해 동시에 $R_t \le \bigl(1 + O(\sqrt{\ln \ln n / \ln n})\bigr)\sqrt{t \ln n / 2}$를 만족하는 알고리즘을 제시합니다.

arXiv:2609.26978v1stat.ML

다중 스케일 행렬 가중치를 통한 온라인 역 선형 최적화의 정밀 후회 상한

Tight Regret Bound for Online Inverse Linear Optimization via Multiscale Matrix Weights

고정된 알려지지 않은 선형 효용(utility)을 갖는 온라인 역 선형 최적화를 연구한다. 각 라운드에서 환경(environment)은 컴팩트 행동 집합을 제시하고, 학습자(learner)는 그 집합에서 행동(action)을 추천하며, 환경은 동일한 집합 위에서 효용을 최대화하는 행동을 반환한다. 효용 벡터와 행동이 $d$차원 유클리드 단위 구(unit ball) 안에 있을 때, 시간 지평(time horizon)을 알 필요 없이 모든 시간 지평에 대해 기대 후회(regret)---최적 행동 대비 누적 효용 부족분---가 $O(\sqrt d)$인 무작위 알고리즘을 제시한다. $d$에 대한 의존성은 $T\ge d$인 지평에 대한 알려진 $\Omega(\sqrt d)$ 하한에 의해 상수 배수까지 최적이다. 우리 알고리즘은 기하학적으로 간격을 둔 스케일에서 다항식 특징(feature) 공간上的 행렬 곱셈 가중(matrix multiplicative weights)을 유지한다. 선형 프로그램(linear program)을 풀어 추천 분포를 선택하고, 이용 가능한 행동과 피드백 행동을 비교하여 점수 행렬을 갱신한다. 유리수 oracle 출력과 피드백 행동 하에서, 선형 최적화 oracle에 상대적으로 계산 가능한 구현이 $O(\sqrt d)$ 후회 상한을 유지한다. 차원, 지평, 입력 길이에 대해 다항 시간 실행 복잡도로 동일한 rate를 달성할 수 있는지는 열려 있다.

arXiv:2511.20413v2math.OC

BOCO: 의사결정 중심 온라인 학습을 위한 베이지안 온라인 문맥 최적화

BOCO: Bayesian Online Contextual Optimization for Decision-Focused Online Learning

\emph{의사결정 중심 학습}(decision-focused learning, DFL)은 예측 정확도만이 아니라 하위 의사결정을 최적화하도록 예측 모델을 학습시킨다. 최근 연구들이 이 패러다임을 스트리밍 데이터가 있는 온라인 환경으로 확장했지만, 기존의 온라인 DFL 방법은 일반적으로 점 추정치(point estimate)를 유지하며, 그래디언트 기반 업데이트를 위해 미분 가능한 최적화 층이나 문제별 대리 손실(surrogate loss)이 필요하다. 그 결과 데이터가 제한된 상황에서는 불안정할 수 있고, 이질적인 최적화 문제 전반에 적용하기도 어렵다. 본 논문에서는 모델 매개변수에 대한 의사결정 중심 사후분포(posterior)를 유지하는 프레임워크인 베이지안 온라인 문맥 최적화(Bayesian Online Contextual Optimization, \texttt{BOCO})를 제안한다. \texttt{BOCO}는 의사결정을 처방할 때 그 사후분포로부터 얻은 예측들을 집계함으로써 매개변수의 불확실성을 반영한다. 변화하는 환경에서 이 사후분포를 추적하기 위해, 미분 불가능한 문제를 위한 순차 몬테카를로(sequential Monte Carlo) 샘플러와 미분 가능한 문제를 위한 함수 공간 Stein 변분 경사하강법(function-space Stein variational gradient descent) 알고리즘, 두 가지 입자 기반 추론 알고리즘을 개발한다. 두 가지 실제 과제 모두에서 \texttt{BOCO}는 두 가지 빈도주의(frequentist) 온라인 DFL 기준선 대비 누적 평균 후회(running mean regret)와 시간적 후회 변동성(temporal regret variability)을 줄인다. 전체 구간(full horizon)에서 최고 성능의 빈도주의 기준선과 비교했을 때, BOCO는 누적 평균 후회와 시간적 후회 변동성을 배낭 문제(knapsack)에서 각각 6.9%와 6.3%, 에너지 스케줄링에서 각각 49.3%와 38.1% 감소시킨다. 이러한 이득은 데이터 스트림 초반에 더 크게 나타나며, 이는 데이터가 제한적일 때 매개변수 불확실성을 반영하는 것이 이점이 된다는 점과 부합하는 양상이다.

arXiv:2601.15363v3stat.ML

비정상 함수적 이중 수준 최적화

Non-Stationary Functional Bilevel Optimization

함수적 이중 수준 최적화(FBO)는 함수 공간에서의 계층적 학습을 위한 강력한 프레임워크를 제공하지만, 현재 방법들은 정적 오프라인 설정에 한정되어 있으며 온라인·비정상 시나리오에서는 차선의 성능을 보인다. 우리는 이론적 보장과 실용적 확장성을 모두 갖춘 비정상 FBO를 위한 최초의 알고리즘인 SmoothFBO를 제안한다. SmoothFBO는 윈도우 매개변수를 통해 분산을 줄이는 시간 평활화 확률적 하이퍼그래디언트 추정량을 도입하여, 아선형 후회를 갖는 안정적인 외부 루프 업데이트를 가능하게 한다. 중요하게는, 고전적인 매개변수적 이중 수준 경우가 우리 프레임워크의 특수 축약이므로 SmoothFBO는 온라인·비정상 설정으로의 자연스러운 확장이 된다. 실험적으로 SmoothFBO는 비정상 하이퍼파라미터 최적화와 모델 기반 강화학습에서 기존 FBO 방법들을 지속적으로 능가하여 실용적 효과를 입증한다. 종합하면, 이러한 결과는 SmoothFBO를 온라인·비정상 시나리오에서의 이중 수준 최적화를 위한 일반적이고 이론적으로 정당하며 실용적으로 실행 가능한 기반으로 확립한다.

arXiv:2606.21253v2cs.LG

그래디언트-프리 웜-스타트 라이브러리 복원: 상각 후회 분리

Gradient-Free Warm-Start Library Recovery: an Amortized-Regret Separation

그래디언트-프리, 로컬, 온라인, 그리고 append-only 방식의 지속 학습(continual learning)은 엣지 및 스트리밍 배포에 매력적이지만, 그 가치는 보통 비공식적으로만 주장된다. 우리는 반복 레짐(regime) 스트림에 대해 증명 가능한 설명을 제시한다. 분할(segmentation)이 주어지면, 웜-스타트(warm-start) 라이브러리 학습기는 무기억(memoryless) 재추정기의 $Θ(RD/\varepsilon^2)$에 대비하여 상각(amortized) 복원(recovery) 비용 $O\!\big(KD/\varepsilon^2+(R-K)\logK/Δ^2\big)$를 달성하며, 차원 $D$와 재발(recurrence) 밀도에 따라 증가하는 $(R-K)\,Θ(D/\varepsilon^2)$의 이점을 갖는다. 메커니즘은 분리(decoupling)이다: 관측된 $K$개 레짐 중 어느 것이 활성인지 인식(recognition)하는 비용은 $D$와 무관하게 $O(\log K/Δ^2)$이며, 한 레짐을 추정하는 비용은 $Θ(D/\varepsilon^2)$이다. 우리는 이것이 tight함을 증명한다: 일치하는 하한(matching lower bounds)은 인식 $Θ(\log K/Δ^2)$와 무기억 클래스 bound $Ω(RD/\varepsilon^2)$를 주므로, 각 항은 개별적으로 minimax-tight하다(결합 진술은 조건부이다). 분리(separation)는 born-immune(무기억 학습기의 이점은 항등적으로 0)이고 패러다임 수준이다: 공정한 spawn 가능 베이지안 기준선(baseline)과 일치하며 그를 능가하지 않는다; 기여는 end-to-end 역전파(backprop) 없이 그리고 구조적으로 제로 망각(zero forgetting)으로 이 비용 구조를 달성하는 것이다. count-calibrated 변형은 바운드된, 결코 음수가 아닌 per-recurrence overshoot까지 기준선(baseline)의 선행 상수(leading constant)와 일치시키며, 하이퍼파라미터(hyperparameter)-free이고 per-step 초월함수(transcendentals)가 없다. 우리는 범위를 제한한다: 인식 가능한 레짐은 심플렉스(simplex) packing에 의해 상한이 정해진다(벽(walls) $e^{Θ(D)}$); 자율 분할(autonomous segmentation)은 packing 벽에서 불가능하다(레짐이 겹칠 때 detector가 오경보/지연(false-alarm/delay) 프론티어(frontier)를 벗어날 수 없음); 이점은 겹침(overlap) 하에서 사라진다. 차원 의존 분리는 합성 스트림과 실제 $k$-mer 게놈 분포에서 확인된다(무기억 비용 $\propto D^{1.04}$, 인식은 $D$-independent); 하나의 실제 순차 스트림은 $D{=}1$ near-null 코너에 위치한다.

arXiv:2607.06079v2cs.LG

Scalable Perturbation Learning for Online Self-Supervised Learning in Echo State Networks

에코 상태 네트워크(Echo State Networks, ESN)에서 온라인 자기지도 학습(self-supervised learning)을 위한 섭동 기반(perturbation-based) 학습 규칙을 제안하며, 자기지도 비용 함수를 직교 분해(orthogonal decomposition)하여 입력 의존 성분에만 섭동을 적용함으로써 기울기 추정 분산의 스케일링을 저수조(reservoir) 차원 O(n_r)에서 입력 차원 O(n_in)으로 줄인다. 이를 통해 대규모 저수조와 하드웨어 제약 환경에서도 스칼라 피드백만으로 확장 가능한 온라인 자기지도 학습이 가능함을 이론 및 수치 실험으로 검증한다.

arXiv:2607.14418v1cs.LG

스폰서 검색 시장을 위한 적응형 광고 부하 설계: 증거, 이론, 배포

Adaptive Ad Load Design for Sponsored Search Markets: Evidence, Theory, and Deployment

광고 부하(ad-load) 설계는 스폰서 검색에서 공급 측의 핵심 의사결정이다. 스폰서 슬롯을 늘리면 수익을 높일 수 있지만, 자연 검색 결과를 밀어내고 사용자 결과를 악화시킬 수 있다. 우리는 안드로이드 앱 스토어에서 수행한 대규모 무작위 현장 실험을 통해 이 트레이드오프를 연구했으며, 500만 명 이상의 사용자가 1개부터 6개까지의 스폰서 슬롯에 노출되었다. 광고 부하를 늘리면 수익이 최대 43% 증가하지만, 총 검색 전환은 최대 5% 감소하고 일일 참여도는 최대 2.2% 감소한다. 이러한 평균 효과는 상당한 이질성을 가린다. 추가 슬롯은 광고 전환율이 높은 쿼리에서 큰 수익 증가를 만들지만, 전환율이 낮은 쿼리에서는 한계 수익이 거의 없거나 음수이다. 이 트레이드오프는 브랜드 광고주 존재와 같이 광고주 구성이 변함에 따라 쿼리 내에서도 이동한다. 이러한 발견에 동기를 받아, 우리는 새로운 적응형 알고리즘인 탐험(exploration) 보강 국소 적응형 광고 부하(exploration-augmented Locally Adaptive Ad Load, e-LAAL)를 설계하고 배포했다. e-LAAL은 최근 결과를 사용해 광고 부하 권장값을 갱신하는 모델(model)-free 쿼리 수준 의사결정 규칙인 LAAL과, 지지(support)를 유지하고 고정 정책 반사실(counterfactual) 벤치마크를 제공하는 정적 탐험(exploration) arm을 결합한다. 우리는 e-LAAL 아키텍처에 대한 유한 시간 동적 후회(dynamic-regret) 보장을 제공한다. 2,230만 명의 사용자와 7,760만 건의 검색을 처리하는 플랫폼 수준의 프로덕션 배포에서 e-LAAL은 배포된 정적 벤치마크 대비 실증적 수익–전환 트레이드오프를 개선하고, 균일한 정적 벤치마크 및 과거 쿼리 의존적 정적 벤치마크를 능가한다.

arXiv:2507.09473v2cs.GT

제약 조건 하 온라인 자원 배분에서의 효율성, 실행 가능성, 및 인센티브 인식

Efficiency, Feasibility, and Incentive-Awareness in Constrained Online Resource Allocation

장기 제약 조건 하에서 전략적 에이전트(agent)에게 분할 불가 자원을 동적으로 배분하는 문제를 연구한다. 계획자는 사회적 후생(social welfare)을 극대화하고, 여러 제약을 만족하며, 거의 진실에 가까운(near-truthful) 보고를 유도하는 것을 목표로 한다. 표준 프라이멀-듀얼(primal-dual) 방법이 이 설정에서 취약함을 발견한다: 에이전트는 듀얼 변수(dual variables)를 왜곡하기 위해 보고를 쉽게 조작하여, 개인 효용을 위해 사회적 효율성을 희생한다. 이를 해결하기 위해 Incentive-Aware Primal-Dual(IAPD) 프레임워크를 제안한다. 프라이멀 측면에서, 조작을 억제하기 위해 세 가지 구성 요소를 통합한다: VCG 기반 지불(payment)은 즉각적인 허위 보고(misreporting) 이득을 중화하고, 에포크 기반 지연(lazy) 업데이트와 무작위 탐험(exploration)이 함께 잠재적 미래 이득이 즉각적 페널티에 의해 상쇄되도록 보장한다. 듀얼 측면에서, 지연 업데이트로 인한 학습 장벽—우리가 "인센티브의 대가(price of incentives)"라고 부르는 것—을 극복하기 위해 새로운 낙관적(optimistic) 온라인 학습 알고리즘 O-FTRL-FP를 설계한다. 이는 고정점(fixed-point) 오라클(oracle)을 활용하여 낙관적 듀얼 변수와 그에 따른 배분(allocation) 사이의 순환 의존성(circular dependency)을 해소한다. 궁극적으로, 우리의 메커니즘은 $\tilde{\mathcal O}(\sqrt T)$ 사회적 후생 regret을 달성하고, 모든 장기 제약을 만족하며, 거의 진실에 가까운 균형(near-truthful equilibrium)을 유도한다. 또한 다단위(multi-unit) 다수요(multi-demand) 배분 문제로 자연스럽게 일반화된다. 특히, 이 $\tilde{\mathcal O}(\sqrt T)$ regret은 비전략적(non-strategic) $Ω(\sqrt T)$ 하한(lower bound)에 거의 부합하며, 인센티브 인식을 거의 비용 없이 수용할 수 있음을 보여준다.

arXiv:2607.10936v2cs.LG

Bandit PCA with Minimax Optimal Regret

We study the bandit-feedback version of online principal component analysis (Bandit PCA): in each round $t = 1,\dots,T$, the adversary selects a $d \times d$ symmetric gain matrix $G_t$ with spectrum in $[0,1]$ and rank at most $r$; the learner simultaneously selects a unit vector $w_t \in S^{d-1}$ and receives the reward $w_t^\top G_t w_t$. The learner receives no other feedback, and aims to minimize the regret against the best unit vector in hindsight. This problem was introduced by Kotlowski and Neu (2019), who gave an algorithm with regret $O(d\sqrt{rT \log T})$ and showed the lower bound of $Ω(r\sqrt{T/\log T})$. We improve upon both of these bounds and essentially bridge the gap between them, establishing the minimax regret of order $r\sqrt{dT}$ up to polylogarithmic factors in $d$ and $T$. The upper bound is attained by a novel algorithm, which combines online mirror descent on the spectrahedron of (real) density matrices with a multiscale exploration scheme in which the eigenspaces with different spectral magnitudes are updated at different rates. For the lower bound, we construct an adaptive adversary that refines a hidden large-reward subspace based on the learner's actions, in such a way that low regret is impossible without estimating the subspace; as a result, lower-bounding the regret reduces to studying the arising subspace estimation problem. Finally, we discuss connections of Bandit PCA with adaptive-measurement quantum tomography.

arXiv:2607.12928v1cs.LG

오차 경계 $O(T^{2/3-ε})$를 갖는 효율적 순차 보정

Efficient Sequential Calibration with $O(T^{2/3-ε})$ Error Bound

온라인 이진 순차 보정(sequential calibration) 문제를 연구한다. \citet{dagan2024breaking}의 최근 돌파구는 보정 오차(calibration error)에 대한 고전적인 \(T^{2/3}\) 장벽을 극복한다. 이 결과를 바탕으로, 상수 \(\varepsilon>0\)에 대해 기대 보정 오차 \(O(T^{2/3-\varepsilon})\)를 달성하는 효율적인 확률적 예측기(forecaster)를 제시한다. 우리의 예측기는 \textsc{SPR-Calibration} 절차 \citep{dagan2024breaking}와 외부 Blackwell형 보정 층(correction layer)을 결합한다. \textsc{SPR-Calibration} 절차는 조건부 평균 추정치의 대리(surrogate) 서열에 대한 보정을 제어하고, 보정 층은 이러한 대리값이 실제 결과를 근사할 때 발생하는 추가 오차를 제어한다. 분석은 총 보정 오차를 대리 보정 오차와 대리 서열과 실제 결과 사이의 잔차 불일치(residual discrepancy)로 분해한다. 전자는 \citet{dagan2024breaking}의 \textsc{SPR-Calibration} 보장으로 경계가 주어지며, 후자는 이차 포텐셜(quadratic potential) 논증과 \textsc{SPR-Calibration} 예측기의 희소성을 함께 사용하여 제어된다.

arXiv:2607.10963v1cs.LG

Efficient Online Proportional Sampling with Applications to Smoothed Online Learning

We study the problem of efficient online proportional sampling from a high-dimensional domain under a $σ$-smoothed adversary, where the sampling distribution is induced by a dynamically evolving weight function defined over a sequence of piecewise-structured partitions. This setting captures a broad range of applications, including principal-agent games (e.g., pricing and contract design), and algorithm configuration and parameter tuning. The central challenge is maintaining an efficient data structure as the induced partition grows increasingly complex over time -- naively, the number of subregions can grow as $O(t^d)$ by round $t$ in $d$ dimensions. We design a data structure that supports efficient updates and proportional sampling while avoiding the cost of explicitly maintaining this exponential growth, where the discontinuities are structured from axis-parallel hyperplanes. Under a $σ$-smoothed adaptive adversary, we prove a tight $O(\sqrt{σT})$ bound on the depth of our data structure, and an $O(\log T)$ bound under a random-order adversary -- to our knowledge, the first such results for this class of problems. We apply this framework to online learning with piecewise-structured rewards, obtaining efficient no-regret algorithms under both full-information and bandit feedback, with provable sublinear regret guarantees.

arXiv:2607.08012v1cs.LG

Provably Optimal Learning Algorithms for Assistance Games

인간 에이전트(정보 보유)와 AI 어시스턴트(정보 미보유)가 반복 상호작용하는 온라인 지원 게임(assistance game) 프레임워크에서, 공동 정책 최적화를 부분모듈 최대화(submodular maximization) 문제로 환원하는 새로운 기법을 통해 $(1-1/e)$-근사 후회율 $\widetilde{O}(T^{3/4})$를 달성하는 최초의 증명 가능한 효율적 분산형 학습 알고리즘을 제시하며, 공유 랜덤 문자열을 활용한 유사 분산형 설정에서는 로그 인수까지 최적인 $\widetilde{O}(T^{1/2})$를 달성한다. 또한 $(1-1/e)$보다 더 나은 근사 인수는 $\mathsf{RP}=\mathsf{NP}$가 아닌 한 계산적으로 불가능함을 증명하여 해당 근사 인수의 최적성을 확립한다.