PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.20571v3cs.LG

강건하고 비평활 볼록 탈중앙화 학습을 위한 빠르고 효율적인 비동기 고십 알고리즘

Fast and Efficient Asynchronous Gossip Algorithm for Robust and Non-Smooth Convex Decentralized Learning

탈중앙화 비평활 볼록 최적화(non-smooth convex optimization)를 위한 비동기 원쌍대(primal-dual) 방법은 각 노드(node)가 차수(degree)를 $d$라 할 때 $\mathcal{O}(d)$개의 보조 변수를 유지해야 하는 경우가 많습니다. 이러한 차수 의존성은 메모리 요구량을 증가시키며, 특히 밀집 네트워크에서 오래된 정보(stale information)의 영향을 증폭시킬 수 있습니다. 탈중앙화 학습에서 절약형 메모리 관리라는 과제에 착안하여, 본 논문에서는 노드의 차수와 무관하게 노드당 두 개의 변수만 유지하는 비동기 고십(gossip) 기반 원쌍대 알고리즘인 Goal-PD를 제안합니다. Goal-PD가 기저 최적화 문제의 최소화해로 거의 확실히 수렴(almost-sure convergence)함을 규명하고, 목적 함수가 조각별 선형-이차(piecewise linear-quadratic) 형태일 때 선형 수렴함을 증명합니다. 탈중앙화 평균 추정의 경우 쌍별 평균화(pairwise averaging)가 Goal-PD의 특수한 경우임을 보여줌으로써, 제안된 원쌍대 프레임워크와 고전적 고십 알고리즘 간의 직접적인 연결고리를 확립합니다. 중앙값 추정을 비롯한 비평활 목적 함수와 다양한 네트워크 토폴로지에서 합성 및 실제 데이터셋을 대상으로 수행한 실험을 통해, Goal-PD가 설계상 현저히 적은 메모리를 요구하면서도 기존 비동기 베이스라인보다 더 빠르게 수렴함을 보입니다.

arXiv:2606.29252v1cs.LG

예산 제약이 있는 차별적 경매에서의 입찰 학습

Learning to Bid in Discriminatory Auctions with Budget Constraints

우리는 라운드당 효용이 가치에서 α(α∈[0,1]은 자본 비용 매개변수)를 결제액에 곱한 값을 뺀 것과 같은 단일 입찰자를 대상으로, 다중 단위 차별적(pay-as-bid) 경매에서의 반복 입찰을 연구한다. 입찰자는 총 예산 B의 제약 하에 T 라운드에 걸친 누적 효용의 최대화를 목표로 한다. 이 문제는 예산이 없는 경우에도 어렵다: 행동 공간이 입찰자의 최대 수요량 M에 대해 지수적이며, 가치 평가 벡터(컨텍스트)가 시간에 따라 변화하기 때문이다. 단위 간 효용 분해를 활용하여, 우리는 방향성 비순환 그래프(DAG)의 최단 경로에 기반한 다항 시간 학습 알고리즘을 개발하고, 완전 정보 및 밴딧 피드백 모두에서 준선형 후회(regret)를 달성한다. 밴딧 설정에서는 완전 교차 학습(complete cross-learning)으로 인해 후회가 컨텍스트 수에 독립적이다: 실현된 컨텍스트 하에서 선택한 행동의 효용을 관측하면 모든 반사실적 컨텍스트에서 동일한 행동의 효용이 드러나기 때문이다. 예산 제약이 있는 경우, 평균 정규화된 라운드당 예산 ρ=B/(MT)<1일 때, 우리는 결합 원시-쌍대(primal-dual) 알고리즘을 설계한다. 이 알고리즘에서 방향성 비순환 그래프 기반 절차는 원시 갱신에 쌍대 조정 에지 가중치를 사용하고, 온라인 경사하강법이 쌍대 변수를 갱신하여 ρ-근사 준선형 후회를 달성한다. 마지막으로, 라운드당 시간 및 공간 복잡도가 컨텍스트 수에 독립적인 구현을 제시하여 크거나 심지어 무한한 컨텍스트 공간으로의 확장을 가능하게 한다.