PyTorchKR Papers

최신 논문

총 22편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.02050v3cs.LG

A Memory Efficient Unified Algorithm for Online Learning of Linear Dynamical Systems

Motivated by the challenge of stabilizing a general unknown linear dynamical system (LDS) from observations, we study the natural prerequisite of online prediction. Our goal is to achieve sublinear regret with a memory footprint that adapts to the intrinsic complexity of the dynamics rather than the full hidden-state dimension. We focus on the practically central regime of systems with low instability complexity -- eigenvalues outside the real stable interval that do not decay rapidly, together with non-semisimple modes -- potentially embedded in an otherwise stable real spectrum of much higher dimension; we write $k$ for this count. This regime is the primary setting in which stabilization is plausible: we show that many systems with high instability complexity cannot be stabilized without exponentially large controls. Thus, prediction is meaningful for stabilization precisely when the instability complexity is small. Within this regime, we introduce a unified online algorithm that handles every LDS (including non-diagonalizable systems with complex or exploding modes) with a learnable parameter count of $\widetilde{O}(k)$. Finally, we prove a lower bound showing that $k$ is a valid complexity measure: any filter-based predictor needs at least $k$ filters. Experiments corroborate our theory: on a high-dimensional system, our predictor sharply outperforms prior methods at an equal parameter budget.

arXiv:2610.11074v1cs.LG

예산 지출 조절과 학습의 최적 페이싱

Optimally Pacing Budget Spending and Learning

본 논문에서는 적대적 환경(adversarial setting)에서 임의의 예산 조절(budget-pacing) 전문가 집단에 대한 예산 제약 온라인 학습의 준최적(near-optimal) 리그릿 상한(regret bound)을 규명합니다. 구체적으로, 임의의 $F$개 전문가 집단과 후보 예산 페이싱 스케줄이 주어졌을 때, 누적 지출이 이 스케줄과 거리 $D$ 이내로 유지되는 모든 전문가에 대해 $O(D \sqrt{\log F}+ \sqrt{T\log F})$의 리그릿을 달성하는 완전 정보(full-information) 알고리즘을 제시하며, 이는 Braverman 등(2025)이 제시한 하한과 일치합니다. 나아가 학습자가 이용 가능한 현재 옵션의 보상과 비용을 관측할 수 있는 다양한 온라인 자원 할당 문제로 본 기법이 확장됨을 보이고, 분수 할당(fractional allocation)이 허용될 때 $O(D\sqrt{\log F})$ 리그릿 상한을 확립합니다. 이는 우리가 아는 한 이러한 과제에서 $o(\sqrt{T})$ 보장을 달성할 수 있는 최초의 알고리즘입니다.

arXiv:2604.03614v4cs.LG

노이즈가 있는 1차원 함수의 전역 최솟값 원샷 위치 추정: 세트 트랜스포머 및 고전적 추정량과 비교한 반복 신경망 최소화기

One-Shot Localisation of the Global Minimum of a Noisy One-Dimensional Function: An Iterative Neural Minimizer Compared with Set Transformers and Classical Estimators

본 연구에서는 수동적 형태의 전역 최적화(global optimisation)를 다룹니다. 즉, 미지의 1차원 함수에서 노이즈가 포함된 20개의 샘플만 주어졌을 때, 추가적인 쿼리 없이 전역 최솟값의 위치를 예측하는 문제입니다. 우리는 정의역 전반에 걸쳐 위치를 이동하며 매 단계마다 해당 위치 근처의 샘플을 읽고 전체 20개 샘플 모두에 어텐션을 적용하는 반복 모델인 신경망 함수 최소화기(NFM, Neural Function Minimizer)를 소개합니다. 그리고 동일한 데이터로 학습된 동일한 크기의 두 가지 세트 트랜스포머(단일 점으로 답하는 모델 및 후보 위치들의 혼합으로 답하는 모델) 및 고전적인 제로 쿼리 추정량들과 학습 모델당 3개의 학습 시드에 걸쳐 비교합니다. 학습 계열에서 제외된 홀드아웃 사례에서 세 학습 모델은 위치 오차 면에서 동률을 이루었으며, 각각은 평균적으로 모든 고전적 추정량보다 더 정확했습니다. 가우스 과정(Gaussian process) 사후 argmin과 비교했을 때 NFM의 오차는 정의역 기준 1.3포인트 더 낮았습니다. 또한 NFM은 단일 점 세트 트랜스포머보다 후회(regret)가 낮았고, 사례별 불확실성은 해당 모델보다 더 나은 가능도를 보였으며 혼합 모델보다 오차 기준 사례 순위 매김을 더 잘 수행했습니다. 가우스 과정과 혼합 모델은 더 낮은 후회를 보였으며, 학습 계열 외부의 함수에서는 가우스 과정이 가장 정확한 추정량이었습니다. 두 골짜기의 깊이가 동일한 경우, 추정량의 구조가 아닌 응답 형태가 특정 골짜기를 선택할지 아니면 골짜기 사이의 값을 답할지를 결정합니다. 즉, 학습 모델이든 스플라인 기반이든 거리에 맞춰 단일 점을 반환하는 모든 추정량은 정확히 동률인 경우의 5분의 1에서 거의 3분의 1 수준에서 양다리를 걸치는(hedge) 경향을 보인 반면, 최빈값(mode)을 제시하는 추정량은 확실히 선택을 내렸으며, 가우스 과정 사후분포는 중앙값으로 요약되는지 최빈값으로 요약되는지에 따라 두 동작을 모두 보였습니다. 우리는 벤치마크와 자체 검증 하네스를 공개할 예정이며, 테스트 사례는 서로 다른 머신에서도 동일하고 결과는 반올림 수준까지 일치합니다.

arXiv:2507.06529v2cs.LG

베이지안 최적화에서의 직접적인 후회 최소화 최적화

Direct Regret Optimization in Bayesian Optimization

베이지안 최적화(Bayesian optimization, BO)는 비용이 많이 드는 블랙박스 함수를 최적화하기 위한 강력한 패러다임입니다. 전통적인 BO 방법은 일반적으로 기저 함수에 대해 수작업으로 설계된 별도의 획득 함수(acquisition function)와 대리 모델(surrogate model)에 의존하며, 흔히 근시안적인(myopic) 방식으로 작동합니다. 본 논문에서는 후보 모델과 획득 함수 집합으로부터 지식을 증류(distilling)하여 최적의 모델과 비근시안적 획득 방식을 공동으로 학습하고, 다단계 후회(multi-step regret) 최소화를 명시적인 목표로 하는 새로운 직접 후회 최적화(direct regret optimization) 접근법을 제안합니다. 제안하는 프레임워크는 서로 다른 하이퍼파라미터를 가진 가우시안 프로세스(Gaussian Processes, GP) 앙상블을 활용하여 시뮬레이션된 BO 궤적을 생성하며, 각 궤적은 기존 선택지 풀에서 추출된 획득 함수를 따르고 베이지안 조기 종료 기준에 의해 종료됩니다. 이러한 궤적들은 궁극적인 목적 함수를 개선하도록 다음 쿼리를 선택하는 엔드투엔드 의사결정 트랜스포머(Decision Transformer)를 학습시키며, 이는 조밀한 학습 희소성 학습(dense training sparse learning) 패러다임을 따릅니다. 즉, 트랜스포머는 풍부한 시뮬레이션 데이터로 학습되는 반면, 제한된 수의 실제 평가를 통해 온라인으로 GP를 개선합니다. 합성 데이터 및 실제 벤치마크에서 본 연구의 방법은 표준, 룩어헤드(lookahead), 신뢰 영역(trust-region), 분할 상환(amortized) BO 베이스라인 대비 최고 또는 최고에 가까운 최종 단순 후회(simple regret) 성능을 달성하며, 특히 고차원 환경에서 가장 큰 성능 향상을 보입니다. 절제 연구(ablation study)에 따르면 이러한 성능 향상은 관심 영역 필터링과 학습된 정책의 결합에 기인하며, 동일 예산 조건에서 명시적인 2단계 룩어헤드 획득 방식과 비교했을 때 이러한 이점이 룩어헤드만으로는 얻어지지 않음을 보여줍니다.

arXiv:2602.10469v2cs.GT

온라인 일반화 평균 복지 극대화: 샘플을 통한 준최적 후회 달성

Online Generalized-Mean Welfare Maximization: Achieving Near-Optimal Regret from Samples

본 연구에서는 이질적인 선호도를 지닌 $n$명의 에이전트(agent)에게 순차적으로 도착하는 $T$개의 아이템을 공정하게 온라인으로 배분하는 문제를 다루며, $p\in (-\infty, 1)$에 대해 에이전트들의 시간 평균 효용의 $p$-평균으로 정의되는 일반화 평균 복지(generalized-mean welfare)를 극대화하는 것을 목표로 합니다. 먼저 독립동일분포(i.i.d.) 도착 모델을 고려하여, 복지를 극대화하는 정수 배분을 근시안적으로 선택하는 순수 탐욕(pure greedy) 알고리즘이 $\widetilde{O}(1/T)$의 평균 후회(average regret)를 달성함을 보입니다. 중요하게도, 선행 연구와 달리 본 알고리즘은 분포에 대한 사전 지식을 요구하지 않으며 온라인 샘플만을 사용하여 최적의 후회율을 달성합니다. 이어 i.i.d. 도착을 넘어 시간에 따라 변하는 독립 분포를 갖는 비정상(nonstationary) 모델을 연구합니다. 분포에 대한 추가 데이터가 없을 경우, 모든 온라인 알고리즘은 $Ω(1)$의 평균 후회를 겪을 수밖에 없다고 알려져 있습니다. 우리는 임의의 비정상성이 존재하는 상황에서도 각 분포로부터 얻은 단 하나의 과거 샘플만으로 최적의 $\widetilde{O}(1/T)$ 평균 후회율을 회복하기에 충분함을 보입니다. 제안하는 알고리즘은 재해결(re-solving) 패러다임에 기반하며, 남은 아이템들이 해당 기간에 과거에 관측되었던 아이템일 것이라 가정하고 그에 따른 복지 극대화 문제를 풀어 매 기간의 결정을 도출합니다. 마지막으로, 과거 샘플의 정확도를 왜곡할 수 있는 분포 변화(distribution shift)를 고려하고, 제안한 재해결 알고리즘의 성능이 이러한 변화에 대해 강건(robust)함을 입증합니다.

arXiv:2609.27206v1stat.ML

전문가 조언을 활용한 예측: 다수 전문가 환경에서 상시 후회가 고정 시간 상수에 일치함

Prediction with Expert Advice: Anytime Regret with Many Experts Matches the Fixed-Time Constant

전문가 조언을 활용한 예측(prediction with expert advice)은 온라인 학습(online learning)의 근본적인 문제입니다. 시간 범위(time horizon) $T$가 사전에 알려져 있을 때, $n$명의 전문가에 대한 미니맥스 누적 후회(minimax cumulative regret)는 점근적으로 $\sqrt{\frac{T \ln n}{2}}$입니다. 이는 $T$에 맞추어 조정된 학습률을 사용하는 곱셈 가중치 업데이트(Multiplicative Weights Update) 알고리즘을 통해 달성되며, 타이트한(tight) 것으로 알려져 있습니다. 반면 후회 상한(regret bound)이 모든 시점 $t$에서 동시에 성립해야 하는 경우, 기존에 알려진 최선의 보장은 $\sqrt{2}$배 더 나쁜 $\sqrt{t \ln n}$이었으며, 이 $\sqrt{2}$ 계수가 필수적인지는 알려지지 않은 채로 남아 있었습니다. 본 연구에서는 이것이 필수적이지 않음을 보입니다. 본 논문에서는 시간 범위에 대한 사전 지식을 요구하지 않으면서도, 누적 후회가 모든 $t \ge 1$에 대해 동시에 $R_t \le \bigl(1 + O(\sqrt{\ln \ln n / \ln n})\bigr)\sqrt{t \ln n / 2}$를 만족하는 알고리즘을 제시합니다.

arXiv:2609.26978v1stat.ML

다중 스케일 행렬 가중치를 통한 온라인 역 선형 최적화의 정밀 후회 상한

Tight Regret Bound for Online Inverse Linear Optimization via Multiscale Matrix Weights

고정된 알려지지 않은 선형 효용(utility)을 갖는 온라인 역 선형 최적화를 연구한다. 각 라운드에서 환경(environment)은 컴팩트 행동 집합을 제시하고, 학습자(learner)는 그 집합에서 행동(action)을 추천하며, 환경은 동일한 집합 위에서 효용을 최대화하는 행동을 반환한다. 효용 벡터와 행동이 $d$차원 유클리드 단위 구(unit ball) 안에 있을 때, 시간 지평(time horizon)을 알 필요 없이 모든 시간 지평에 대해 기대 후회(regret)---최적 행동 대비 누적 효용 부족분---가 $O(\sqrt d)$인 무작위 알고리즘을 제시한다. $d$에 대한 의존성은 $T\ge d$인 지평에 대한 알려진 $\Omega(\sqrt d)$ 하한에 의해 상수 배수까지 최적이다. 우리 알고리즘은 기하학적으로 간격을 둔 스케일에서 다항식 특징(feature) 공간上的 행렬 곱셈 가중(matrix multiplicative weights)을 유지한다. 선형 프로그램(linear program)을 풀어 추천 분포를 선택하고, 이용 가능한 행동과 피드백 행동을 비교하여 점수 행렬을 갱신한다. 유리수 oracle 출력과 피드백 행동 하에서, 선형 최적화 oracle에 상대적으로 계산 가능한 구현이 $O(\sqrt d)$ 후회 상한을 유지한다. 차원, 지평, 입력 길이에 대해 다항 시간 실행 복잡도로 동일한 rate를 달성할 수 있는지는 열려 있다.

arXiv:2607.15229v1cs.LG

데이터 기반 블록 교체 스케줄링

Data Driven Block Replacement Scheduling

우리는 \textit{블록 교체 정책(block replacement policy)} 하에서 $N$대의 독립 동형 기계를 유지·관리하기 위한 데이터 기반 알고리즘을 개발한다. 이 정책에서는 각 기계가 고장 시 교체되고, 모든 기계가 길이 $k$의 정규 간격으로 일괄 교체된다. 수명 분포가 알려지지 않은 경우 운영 데이터로부터 비용을 최소화하는 간격 $k^*$를 학습하는 것이 목표이다. 각 의사결정 시점마다 운영자는 $k \in \{1, 2, \ldots, K\}$를 선택하고, 그 결과 고장 이력(완전 수명과 우측 검열(right-censored) 수명의 혼합)을 관측하며, 갱신 함수(renewal function)에 의해 결정되는 단위 시간당 비용을 부담한다. 이를 확률적 다중 팔 밴딧(stochastic multi-armed bandit)으로 형식화하고, $O(K \log T)$ 후회(regret)를 달성하는 Hoeffding 및 Bernstein 기반 하한 신뢰 구간(lower-confidence-bound) 알고리즘을 제안하며, 이는 Lai--Robbins 하한과 일치한다. 블록 교체에 고유한 중첩 관측(nested observation) 성질을 활용한 상관 변형(correlated variants)은 $O((K-k^*)\log T)$ 후회를 달성하고, 차선 arm $k < k^*$에 대한 직접 pull은 $O(1)$번만 필요하다. 보완적으로 Kaplan--Meier 갱신 알고리즘은 검열 데이터로부터 수명 분포를 비모수적으로 추정하여, 거의 확실(almost-sure)한 정책 일관성을 달성하고 장기 구간에서 실증적으로 거의 0에 가까운 추가 후회를 보인다. 또한 평균 비용 MDP 두 가지를 분석한다. 경과 시간(time-elapsed) 형식화는 임의의 수명 분포에 대해 블록 교체가 해당 정책 클래스 내에서 최적임을 보이고, 연령 벡터(age-vector) 형식화는 증가하는 고장률(increasing failure rate) 분포 하에서 단조 임계값(monotone threshold) 구조를 증명하며 gold-standard 비용 벤치마크를 제공한다. 수치 실험은 이론적 순서를 확인하고, 최적 블록 교체와 연령 의존(age-dependent) 교체 사이의 구조적 비용 격차를 밝힌다.

arXiv:2510.21431v2stat.ML

오라클-효율적 조합형 세미-밴딧

Oracle-Efficient Combinatorial Semi-Bandits

우리는 에이전트가 기본 암(base arms)의 부분집합을 선택하고 개별 피드백을 받는 조합형 세미-밴딧(combinatorial semi-bandit) 문제를 연구한다. 이 문제는 고전적인 다중 슬롯 밴딧(multi-armed bandit)을 일반화하며 광범위한 적용 가능성을 갖지만, 매 라운드마다 오라클 쿼리를 요구하는 조합 최적화의 높은 비용으로 인해 확장성이 제한된다. 이를 해결하기 위해, 우리는 강한 후회(regret) 보장을 유지하면서 오라클 호출 횟수를 크게 줄이는 오라클-효율적 프레임워크를 제안한다. 최악의 경우 선형 보상(linear reward) 설정에서, 우리의 알고리즘은 단 $O(\log\log T)$번의 오라클 쿼리만으로 $\tilde{O}(\sqrt{T})$ 후회를 달성한다. 또한 개선된 후회를 위해 노이즈 구조를 활용하는 공분산 적응형(covariance-adaptive) 알고리즘을 제안하고, 일반(비선형) 보상으로 접근 방식을 확장한다. 전반적으로, 우리의 방법은 강한 이론적 보장과 함께 오라클 사용량을 시간에 대해 선형에서 (이중) 로그 수준으로 줄인다.

arXiv:2607.09015v1cs.LG

LLM 라우팅을 위한 대리 보상 기반 상관관계 인식 문맥적 밴딧

Correlation-Aware Contextual Bandits with Surrogate Rewards for LLM Routing

우리는 기계 학습 모델이 생성하는 대리 보상(surrogate reward) 신호에 접근 가능하고 상관된 암(arm)을 갖는 문맥적 밴딧(contextual bandit) 문제를 연구하며, 대규모 언어 모델(LLM) 라우팅과 같은 응용에서 동기를 얻었다. 밴딧 피드백에만 의존하고 암 간 조건부 독립성을 가정하는 고전적 문맥적 밴딧과 달리, 우리의 설정은 문맥 의존적인 암 간 상관관계와 잡음이 있거나 잘못 명세될 수 있는 보조 보상 정보를 허용한다. 우리는 두 가지 상보적 설계를 통해 이러한 대리 보상을 활용하는 알고리즘을 제안한다. 결합 보상 혼합(coupled reward-mixing) 방식은 대리 신호가 신뢰할 수 있을 때 학습을 가속화하기 위해 실제 보상과 대리 보상을 통합하며, 분리 예측 혼합(decoupled prediction-mixing) 방식은 밴딧 피드백과 대리 보상에 대한 별도의 추정기를 유지하고 그 예측을 적응적으로 결합한다. 이러한 분리는 대리 보상의 잘못된 명세에 대한 견고성을 제공하여 최악의 경우 보상만 사용하는 밴딧 방법에 필적하는 후회(regret) 보장을 회복하면서, 대리 예측이 충분히 유익한 경우 개선된 후회를 달성한다. 우리는 두 방식에 대한 이론적 후회 분석을 제공하고, 다양한 정확도 대 비용 트레이드오프 하에서 LLM 라우팅 벤치마크를 대상으로 평가한다. 결과는 표준 문맥적 밴딧 기준선 및 강력한 정적 라우팅 방법과 비교하여 향상된 샘플 효율성과 일관되게 더 나은 정확도-비용 트레이드오프를 보여준다.

arXiv:2602.20578v2cs.LG

하강 폐쇄 볼록 집합 위 온라인 비단조 DR-부분모듈러 최대화의 상위 선형화 가능성

Upper-Linearizability of Online Non-Monotone DR-Submodular Maximization over Down-Closed Convex Sets

우리는 하강 폐쇄 볼록 집합 위에서 비단조 감소 반환(DR)-부분모듈러 함수의 온라인 최대화를 연구한다. 이는 기존의 투영 없는 온라인 방법들이 준최적 후회(regret) 및 제한된 피드백 보장을 겪는 체제이다. 우리의 핵심 기여는, 신중하게 설계된 지수 재매개변수화, 스케일링 매개변수, 대리 퍼텐셜 하에서 이 함수 클래스가 $1/e$-선형화 가능함을 보이는 새로운 구조적 결과이며, 이를 통해 온라인 선형 최적화로의 환원이 가능해진다. 그 결과, 라운드당 단일 그래디언트 질의만으로 $O(T^{1/2})$ 정적 후회를 달성하고, 적응적·동적 후회 보장을 확보하며, 세미-밴딧, 밴딧, 영차 피드백 하에서도 개선된 수렴률을 얻는다. 모든 피드백 모델에 걸쳐 우리의 상한은 최신 결과를 엄격히 개선한다.

arXiv:2607.08012v1cs.LG

Provably Optimal Learning Algorithms for Assistance Games

인간 에이전트(정보 보유)와 AI 어시스턴트(정보 미보유)가 반복 상호작용하는 온라인 지원 게임(assistance game) 프레임워크에서, 공동 정책 최적화를 부분모듈 최대화(submodular maximization) 문제로 환원하는 새로운 기법을 통해 $(1-1/e)$-근사 후회율 $\widetilde{O}(T^{3/4})$를 달성하는 최초의 증명 가능한 효율적 분산형 학습 알고리즘을 제시하며, 공유 랜덤 문자열을 활용한 유사 분산형 설정에서는 로그 인수까지 최적인 $\widetilde{O}(T^{1/2})$를 달성한다. 또한 $(1-1/e)$보다 더 나은 근사 인수는 $\mathsf{RP}=\mathsf{NP}$가 아닌 한 계산적으로 불가능함을 증명하여 해당 근사 인수의 최적성을 확립한다.

arXiv:2607.03385v1stat.ML

정책 학습 문제의 계층 구조

A Hierarchy of Policy Learning Problems

관측 데이터 기반 정책 학습(policy learning)에서 최적 정책, 개선 정책, 정책 존재 여부 판별이라는 세 가지 문제를 통합하는 수학적 프레임워크를 제시하며, 표본 복잡도(sample complexity) 기준으로 이 문제들 사이의 난이도 위계와 간극을 이론적으로 분석한다. 특히 개선 정책을 실제로 찾기에 데이터가 부족한 상황에서도, 단조성(monotonicity) 조건을 만족하는 알고리즘 하에서 개선 정책의 존재 여부는 준선형 다항식 수준의 더 적은 표본으로 판별 가능함을 증명한다.

arXiv:2510.03798v3cs.LG

중꼬리 보상을 갖는 배치 밴딧

Batched Bandits with Heavy-Tailed Rewards

중꼬리(heavy-tailed) 보상 분포를 갖는 배치 다중 팔 밴딧(MAB) 문제에서 강건한 알고리즘을 제안하며, 인스턴스 독립적 설정과 Lipschitz 설정에서는 꼬리가 무거울수록 근사 최적 후회(near-optimal regret) 달성에 필요한 배치 수가 오히려 줄어드는 반직관적 현상을 이론적으로 규명한다. 반면 인스턴스 의존적 설정에서는 최적 배치 수가 꼬리 무거움(tail heaviness) 파라미터 ε과 무관하게 결정된다는 대조적인 결과를 상한 및 하한 분석을 통해 함께 제시한다.

arXiv:2607.04824v1cs.LG

Probably Correct Optimal Stable Matching under Two-Sided Uncertainty

양면 시장에서 양측 선호도가 모두 미지(未知)인 안정 매칭 문제를 세미-밴딧 피드백 구조 하의 순차적 학습으로 정식화하고, 만연 안정 매칭(pervasive stable matching) 개념을 활용해 부분 선호도만으로 최적 안정 매칭을 높은 확률로 식별하는 제거 기반 알고리즘을 제안한다. 이 알고리즘은 전통적인 최소 보상 격차 Δ_min 의존성 없이 후회 경계를 달성하며, 샘플 복잡도 분석도 이분 그래프의 엣지 색칠 논거로 정제된다.

arXiv:2605.17269v2cs.LG

Calibeating for general proper losses: A Bregman divergence approach

후회 최소화(regret minimization)와 Bregman 발산을 연결하는 일반적인 캘리비팅(calibeating) 프레임워크를 제시하며, Brier 점수와 로그 손실만 다룬 기존 연구와 달리 α-Tsallis 손실 및 Lipschitz 손실을 포함한 광범위한 진정 손실(proper loss) 계열로 확장한다. Follow The Regularized Leader(FTRL) 기반의 단일 알고리즘으로 해당 손실 계열 전체에 대해 동시에 O(log T) 후회를 달성하며, 기존 결과 대비 차원 의존성을 d^{2-α} log T로 개선하는 U-보정(U-calibration) 결과를 보인다.

arXiv:2606.28308v1cs.GT

어느 나시 균형인가? 제로섬 나시 다면체에서의 솔버 의존적 선택

Which Nash Equilibrium? Solver-Dependent Selection on Zero-Sum Nash Polytopes

많은 2인 제로섬 게임은 유일한 나시 균형 하나가 아니라, 모든 프로필이 미니맥스 값 V*를 공유하지만 서로 다른 행동을 규정하는 볼록 집합, 즉 다면체를 갖는다. 표준 솔버는 각각 어떤 균형으로 수렴하며 상호 교환 가능한 것으로 취급된다. 우리는 대신 이들이 나시 집합의 서로 다른 구성원을, 시드가 아니라 알고리즘의 함수로 체계적으로 선택하는지를 묻는다. 해석적으로 알려진 나시 집합을 갖는 6개 게임의 표 형식·정확히 풀 수 있는 테스트베드(2차원 나시 다면체와 Kuhn poker 포함)를 사용하여 다음을 발견한다. (i) 선택은 시드가 아니라 알고리즘에 의해 결정되지만, 알고리즘 계열 간 차이는 비대칭 나시 집합에서만 나타난다. (ii) 정규화된 마지막 반복(last-iterate) 방법(R-NaD, magnetic mirror descent)은 최대 엔트로피 구성원, 즉 균등 참조(uniform reference)를 나시 집합에 대한 정보 투영(information projection)한 것을 선택한다 — 2차원 다면체에서는 정확히, Kuhn에서는 최대 엔트로피의 99.7%에서 — 반면 후회 평균(regret-averaging) 방법(CFR, CFR+, fictitious play)은 더 낮은 엔트로피 면(face)으로 이동한다. 무작위 180게임 앙상블에서도 이를 확인하며, R-NaD는 수렴한 게임의 100%에서 최대 엔트로피 구성원에 도달하는 반면 CFR+는 94%에서 엄격히 그 아래에 위치한다(쌍체 Wilcoxon p < 10^-27). (iii) 선택된 구성원은 차선 상대에 대한 하류 결과를 갖으며, 이는 순차/은닉 정보 구조에 따라 스케일되지만 유계(bounded)로 남는다 — Kuhn에서 최대 엔트로피 구성원은 엄격히 더 나은 헤지(hedge)이지만, 행렬 게임에서는 구성원들이 서로 우세하지 않고 다르다. 또한 흔한 직관을 수정하는 두 가지 부정적 결과를 보고한다. CFR의 양의 직교(orthant) (max(R,0)) 투영을 제거해도 경계 이동(boundary drift)이 사라지지 않으며, R-NaD의 선택은 초기화와 무관하지 않고 앵커 추종(anchor-following)이다. 최대 엔트로피 / I-투영 특성화를 해석적 ground truth와 전 과정에서 대조하여 검증한, 강력한 데이터 기반 conjecture로 기술한다.

arXiv:2606.27448v1cs.LG

관측 불가 상태와 제약된 결정 시점을 갖는 마르코프 밴딧에서의 학습

Learning in Markovian bandits with non-observable states and constrained decision epochs

이 논문은 관측 불가 상태(non-observable states)와 잠재적으로 제약된(constrained) 결정 시점(decision epochs)을 갖는 마르코프 밴딧(Markovian bandits)에서 후회(regret) 최소화 문제를 연구한다. 초점은 학습 알고리즘의 성능을 최선의 순수 정책(pure policy)과 비교하는 '순수' 후회 벤치마크에 제한된다. 이 순수 정책은 확률적 밴딧(stochastic bandits)의 최적 정책과 유사하게, 시작부터 끝까지 암을 전환하지 않고 최적 암을 선택한다. rested 마르코프 밴딧의 일반화인 자기 열화(self-degrading) 마르코프 밴딧을 도입하는데, 여기서 순수 정책은 항상 asymptotic하게 최적이다. 기저 밴딧에 대한 사전 지식이 없으면, 암을 드물게 전환하는 알고리즘의 후회는 모든 밴딧에 대해 초로그 스케일, 즉 학습 구간 T에 대해 ω(log(T))로 증가한다. 로그 영역에 도달할 수 없음에도 불구하고, UCB에 영감을 받은 낙관적 알고리즘 UCB-NOM을 설계하여 그 후회는 거의 로그 스케일이다. 마지막으로, 마르코프 밴딧 각 암의 바이어스 함수에 대한 bound 형태의 사전 지식이 주어지면, UCB-NOM의 적절한 인스턴스화가 O(log(T)) 후회를 달성함을 보인다. 또한 이 사전 지식은 UCB-NOM에 대해 O(√T log(T)) 최악 경우 후회 bound를 허용함을 보인다. 특히 우리의 후회 bound는 기저 마르코프 체인의 상태 수에 의존하지 않는다. 우리의 결과는 관측 불가 상태가 자기 열화 마르코프 밴딧에서 경미한 제약임을 시사한다.

arXiv:2510.24187v3stat.ML

선형 밴딧을 위한 자기일치 교란

Self-Concordant Perturbations for Linear Bandits

적대적 선형 밴딧(adversarial linear bandits) 설정에서 FTRL과 FTPL을 통합하는 Bandits-Gbpa 프레임워크를 제시하고, 자기일치 교란(self-concordant perturbations)을 활용한 새로운 SC-FTPL 알고리즘을 도입한다. 제안된 알고리즘은 $d$차원 하이퍼큐브에서 기존 SCRiBLe 대비 $\sqrt{d}$ 향상된 $\mathcal{O}(d\sqrt{n \ln n})$의 후회(regret)를 달성하며, $\ell_2$ 볼에서도 SCRiBLe과 동등한 성능을 별도의 도메인별 샘플링 기법 없이 실현한다.

arXiv:2606.27315v1cs.LG

Blackwell Approachability와 Gradient Equilibrium의 동등성

Blackwell Approachability and Gradient Equilibrium are Equivalent

최근 도입된 온라인 최적화 프레임워크 그래디언트 균형(GEQ)은 후회(regret)와 목표가 비교 불가능해 온라인 학습 지형에서의 위치가 불분명했으나, 블랙박스 오라클 환원으로 Blackwell approachability와 알고리즘적으로 동등함을 증명한다. approachability·후회 최소화·calibration 간의 기존 동등성과 합치면 GEQ도 이들과 동등하며, 효율적인 환원으로 낙관성과 강한 적응성 같은 정교한 보장을 regret minimization에서 GEQ로 옮길 수 있다.