PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01755v1math.OC

Decentralized Stochastic Subgradient-type Methods with Communication Compression for Nonsmooth Nonconvex Optimization

비매끄럽고(nonsmooth) 비볼록한(nonconvex) 분산 최적화 문제에서 에이전트 간 통신을 압축(communication compression)하는 일반 프레임워크 DESC를 제안하며, 비편향 압축과 수축 압축(contractive compression)을 통합한다. 연속시간 미분 포함(differential inclusion) 궤적과의 연결을 통해 Clarke 정칙성이 없는 비매끄러운 목적 함수에 대해서도 전역 수렴(global convergence)을 이론적으로 확립하고, 수치 실험으로 통신-정확도 트레이드오프를 실증한다.

arXiv:2607.01665v1cs.LG

Revisiting Decentralized Online Convex Optimization with Compressed Communication

통신 압축이 적용된 분산 온라인 볼록 최적화(D-OCO)에서 기존 OGD 기반 알고리즘 대신 처음으로 FTRL 기반 알고리즘 두 가지를 제안하며, FTRL의 이중 변수 업데이트 메커니즘이 Choco-Gossip과 자연스럽게 결합됨을 보인다. 완전 정보 설정에서는 기존 후회 한계(regret bound)를 달성하고, 밴딧(bandit) 설정에서는 볼록 및 강볼록 함수 모두에서 후회 한계와 통신 비용을 동시에 개선한다.