PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13984v2stat.ML

분류 및 회귀 트리에 대한 브레그만 관점

A Bregman Perspective on Classification and Regression Trees

분류 및 회귀 트리(CART)의 다양한 불순도 기준을 브레그만 발산(Bregman divergence) 관점에서 통합해, 최소제곱·포아송 편차·쿨백-라이블러형 손실 등 지수족 모델의 노드 대표값·불순도·분할 규칙을 볼록 함수의 공통 프레임워크로 표현합니다. 생성 볼록 함수의 기하학적 성질이 불순도 감소와 재귀 분할 안정성에 미치는 영향을 분석하고 일관성 결과를 제시하며, 시뮬레이션과 실데이터에서 Bregman Trees와 CART를 비교합니다.

arXiv:2606.22669v1cs.LG

꼬리에서 적응성의 대가를 클리핑하기

Clipping the Price of Adaptivity at the Tail

적응적 확률적 볼록 최적화(SCO) 방법은 근본적인 ``적응성의 대가(price of adaptivity)'' 장벽에 직면한다. 표준 가정 하에서는 최적점까지의 초기 거리와 Lipschitz 상수 모두에서 큰 불확실성에 효율적으로 적응할 수 없다. 우리는 많은 학습 문제에 공통적인 소량의 추가 구조를 요구함으로써 이 장벽을 우회한다. 구체적으로, 목적 함수가 모델과 손실 함수로 분해된다고 가정하며, 이를 통해 손실 함수로 전달되기 전에 모델의 출력을 수정하는 개입이 가능해진다. 이 가정 하에서, 고정된 참조 모델의 출력에서 과도하게 벗어나는 꼬리 사건에서 학습된 모델 출력을 클리핑하는 방법을 설계한다. 우리 방법은 거리와 Lipschitz 매개변수의 불확실성에 대해 대수(logarithmic) 인자까지 알려진 매개변수 SCO의 최적 경계와 일치하므로, 두 가지 모두에서 큰 불확실성에 효율적으로 적응한다.

arXiv:2606.20082v1math.OC

존 타원체 근사에서 평균화를 넘어서: 레버리지 점수 모델에서의 고정밀 알고리즘

Beyond Averaging in John Ellipsoid Approximation: High-Accuracy Algorithms in the Leverage-Score Model

대칭 다면체(symmetric polytope) $P=\{\mathbf{x}\in\mathbb{R}^d:\|\mathbf{A}\mathbf{x}\|_\infty\le1\}$ ($\mathbf{A}\in\mathbb{R}^{n\times d}$)의 존 타원체(John ellipsoid)는 Cohen, Cousins, Lee 및 Yang (COLT 2019)부터 그 후속작들 [WY24, CLS+25]에 이르는 긴 계보의 레버리지 점수(leverage-score) 알고리즘들을 통해 계산되며, 이들은 모두 $\Theta(\varepsilon^{-1}\log(n/d))$ 반복(iteration) 내에 $(1+\varepsilon)$-근사에 도달합니다. 우리는 이 복잡도를 현대의 연구들이 혼동하는 세 가지 비용(인증(certification), 식별(identification), 정확도(accuracy))으로 분리하고, 역사적인 $\varepsilon^{-1}$ 항이 첫 번째 비용(인증)에만 있음을 밝혀냅니다. 이와 동등한 D-최적 설계(D-optimal-design) 형태 $\min_{\mathbf{p}\in\Delta_n}-\log\det(\sum_i p_i\mathbf{a}_i\mathbf{a}_i^\top)$에서 레버리지 점수 오라클(leverage-score oracle)은 정확히 1차 오라클(first-order oracle)이며, $(1+\varepsilon)$-존 보장은 Frank-Wolfe 간격(Frank-Wolfe gap) $g(\mathbf{p})\le\varepsilon d$에 해당합니다; 이러한 대응 관계를 통해 비용들이 분리됩니다. $\varepsilon^{-1}$은 인증 인공물(artifact)입니다: 해당 계보 전반에 걸쳐 사용되는 인증서인 반복(iterates)의 균일한 평균은 각 반복(iteration)이 얼마나 저렴하게 만들어지든 간에 정확히 $\Theta(1/T)$의 간격을 가집니다. 대신 마지막 반복점(last iterate)을 목표로 삼는다면 동일한 오라클은 빠릅니다: $\varepsilon$와 무관한 설정 $C(\mathbf{A})$ 이후, 웜 스타트된 가속화된 방법은 $C(\mathbf{A})+O(\sqrt{\kappa}\log(1/\varepsilon))$ 번의 질의(query)로 보장 조건에 도달하며, 최적 면(optimal face)이 식별되면 면상 문제(facial problem)는 오라클이 헤시안(Hessian)을 정확히 복원하는 비제약 자기 콩코드 최소화(unconstrained self-concordant minimization)가 되므로 감쇠 뉴턴(damped Newton)은 $O(\log\log(1/\varepsilon))$ 단계만 필요하며, 총 $C(\mathbf{A})+O(d^2\log\log(1/\varepsilon))$ 번의 질의가 소요됩니다. 따라서 정확도 의존성은 $\varepsilon$와 무관하고 조건(condition)에 의존적인 설정 이후 이중 로그(double logarithmic) 형태를 띱니다; 남아있는 개방 문제는 식별 비용(최적 면에 도달하기 위한 조건 무관(condition-free) 상계)과 하한(lower bounds)입니다. 정확도는 장애 요소가 아닙니다.

arXiv:2606.19652v1cs.LG

리프시츠 정규화된 얕은 신경망의 볼록 학습

Convex training of Lipschitz-regularized shallow neural networks

본 연구에서는 적대적 공격에 대한 강인성을 향상시키는 얕은 신경망(shallow neural networks)을 위한 학습 절차를 제안합니다. 전역 최적성(global optimality)을 가진 해로 효율적으로 도달할 수 있는 볼록 제한(convex restriction)을 도입하여 비볼록(non-convex) 리프시츠 정규화된 학습 프로그램을 해결합니다. 제안하는 방법은 사전 학습된 네트워크를 초기 해(initial solution)로 사용하여 볼록 프로그램을 해결하는 후처리 단계로 활용할 수 있으며, 이를 통해 얻는 최적 네트워크는 초기 네트워크보다 성능이 낮지 않음이 보장됩니다. 적대적 설정(adversarial setting) 하에서 회귀 작업(regression tasks)을 위해 실제 데이터셋(real-world datasets)을 사용한 실험을 통해 본 학습 절차의 개선 효과를 입증합니다. 수치 실험을 통해 제안된 볼록 프로그램을 해결했을 때, 기존 방법들에 비해 리프시츠 정규화된 문제에서 더 낮은 목적 함수 값(objective value)을 갖는 네트워크가 도출됨을 보여줍니다. 또한, 특정 데이터셋에서 본 볼록 학습 프로그램을 통해 얻은 네트워크는 적대적 공격에 대해 더 높은 정확도와 강인성을 모두 갖춤을 확인했습니다.

arXiv:2509.14969v2cs.LG

하강 없는 확률적 적응형 경사하강법

Stochastic Adaptive Gradient Descent Without Descent

본 논문에서는 확률적 그래디언트를 사용하는 볼록 최적화를 위해, 1차 확률적 오라클만을 통해 목적 함수의 국소적 기하학적 구조를 활용하며 하이퍼파라미터 튜닝이 필요 없는 새로운 적응형 스텝 사이즈 전략을 소개합니다. 이 방법은 "하강 없는 적응형 경사하강법(Adaptive Gradient Descent Without Descent)" 방법론을 확률적 설정에 맞춰 이론에 기반하여 적응시킨 결과물입니다. 우리는 다양한 가정 하에 제안하는 스텝 사이즈를 적용한 확률적 경사하강법의 수렴성을 증명하였으며, 실제 실험을 통해 튜닝된 베이스라인 모델들과 대등한 성능을 보임을 확인했습니다.

arXiv:2606.17260v1math.OC

결정론적 적분 시간을 갖는 해밀토니안 역학을 통한 가속화된 볼록 최적화

Accelerated Convex Optimization via Hamiltonian Dynamics with Deterministic Integration Time

우리는 가속화된 수렴 속도를 달성하는 매끄러운 볼록 최적화를 위한 해밀토니안 역학 기반 알고리즘을 개발합니다. 궤적 끝점에서의 수축을 요구하는 대신 평균화된 해밀토니안 흐름 궤적의 수축을 활용하여, 우리는 해밀토니안 역학 기반 최적화 방법들이 이차 목적 함수로 제한되거나 기대값으로만 성립하는 이전 연구를 확장하여 결정론적이고 가속화된 수렴 보장을 제공함을 보여줍니다. 우리는 이상적인 연속 시간 알고리즘을 분석하고 최적의 1차 복잡도를 갖는 실용적인 이산 시간 구현을 도출하여, 해밀토니안 역학을 결정론적 가속화 볼록 최적화를 위한 유용한 알고리즘적 프리미티브로 확립합니다.

arXiv:2606.07496v1cs.LG

강하게 볼록한 최적화를 위한 가속된 분산 확률적 경사하강법

Accelerated Decentralized Stochastic Gradient Descent for Strongly Convex Optimization

분산 확률적 최적화(decentralized stochastic optimization)는 네트워크 상에서의 대규모 학습을 위한 기본 패러다임으로, 에이전트가 이웃과만 통신하며 중앙 코디네이터가 필요하지 않습니다. 강하게 볼록한 문제의 경우, 통신 효율성은 주로 조건수(condition number) \(κ=L/μ\)와 네트워크 스펙트럼 갭(spectral gap) \(1-β\)에 의해 결정됩니다. 결정론적 분산 방법은 가속된 \(\sqrtκ\) 및 \(1/\sqrt{1-β}\) 의존성을 동시에 달성할 수 있지만, 기존의 확률적 방법 중에는 두 가지 개선을 동시에 달성하는 것이 없습니다. 본 논문에서는 Nesterov형 프리멀-듀얼(primal-dual) 외삽과 다중 라운드 빠른 고시프(gossip) 평균화를 결합한 분산 확률적 알고리즘인 \emph{Multi-Gossip Accelerated DSGD} (MG-ADSGD)를 제안합니다. 핵심 아이디어는 고시프 깊이를 미니배치(mini-batch) 크기와 결합하여, 추가적인 통신 라운드가 합의(consensus) 정확도를 높이고 그래디언트(gradient) 분산을 줄이도록 하는 것입니다. 우리는 MG-ADSGD가 다음의 통신 복잡도 \[ \widetilde{\mathcal O}\!\left( \frac{σ^2}{μnε}\log\frac{1}ε + \sqrt{\fracκ{1-β}}\log\frac{1}ε \right), \] 를 달성함을 보여줍니다. 여기서 \(ε\)는 목표 정확도, \(n\)은 노드 수, \(σ^2\)는 그래디언트 분산을 나타냅니다. 우리의 아는 한, 이 바운드는 $ε$과 무관한 로그 인자를 제외하고, 분산 확률적 강하게 볼록한 최적화에 대해 현재 가능한 최고의 통신 복잡도를 제공합니다.