PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13711v1cs.LG

GFlowNet 학습에 대한 이해를 향상하기 위하여: 이론적 관점

Towards Understanding the Training of GFlowNets: A Theoretical Perspective

생성적 흐름 네트워크(GFlowNets)는 양의 보상(reward)에 비례하여 이산적인 객체를 샘플링하는 정책을 학습합니다. GFlowNet은 밸런스 목적함수(balance objectives)를 최소화하여 학습(training)되며, 이 목적함수를 정확히 만족할 경우 정확한 샘플링이 보장됩니다. 그러나 0이 아닌 밸런스 손실(loss)과 근사적 정류성(approximate stationarity)을 샘플링 정확도와 연결하는 포괄적인 이론은, 특히 진화하는 샘플링 분포 및 역방향 정책(backward policies) 하에서는 여전히 부족합니다. 이러한 간극을 메우기 위해, 우리는 이 체제에서 흐름 매칭(Flow Matching), 상세 밸런스(Detailed Balance), 궤적 밸런스(Trajectory Balance)를 위한 통합 이론을 개발합니다. 먼저 종단 대칭 KL 발산(terminal symmetric KL)의 상한을 기대 밸런스 손실의 제곱근으로 제한합니다. 그런 다음 근사적 정류성이 매개변수화 불완전성을 측정하는 접공간 잔차(tangent-space residual) 내에서 이러한 분포 오차를 제어함을 보입니다. 마지막으로 고정되거나 제어된 샘플링 및 고정되거나, 밸런스 학습되거나, 별도로 업데이트되는 역방향 정책 하에서 유한 시간 수렴(convergence)을 규명합니다. 표준적인 평활성 가정 하에서 고정되거나 제어된 샘플링과 고정 또는 밸런스 학습된 역방향 정책을 사용할 경우, 균일한 커버리지 하에서 기대 손실은 $O(\barε^2+T^{-1})$이고 기대 종단 대칭 KL은 $O(\barε+T^{-1/2})$입니다. 별도로 업데이트되는 역방향 정책의 경우 잔차 이웃에 접근하고 이러한 수렴 속도를 유지하기 위한 충분한 업데이트 감쇠 조건을 규명합니다. 이러한 결과는 밸런스 목적함수를 샘플링 정확도와 연결하고 매개변수화, 커버리지 및 이동 구성 요소가 GFlowNet 학습을 어떻게 좌우하는지 명확히 밝힙니다.

arXiv:2610.02659v2cs.LG

선택적 상태 공간 모델을 활용한 분산 학습: 아키텍처 인지 수렴 분석

Distributed Learning with Selective State Space Models: Architecture-Aware Convergence Analysis

Mamba2와 같은 최신 상태 공간 모델(SSM)은 선형 시간 시퀀스 모델링과 순환 상태 공간 역학을 결합하여 트랜스포머의 강력한 대안을 제시합니다. 그러나 분산 학습 환경에서 SSM의 동작은 여전히 잘 이해되지 않고 있습니다. 특히 기존의 표준 연합학습(federated learning) 방식들은 대부분 아키텍처에 구애받지 않으며(architecture-agnostic), 최신 선택적 SSM의 특징인 안정성, 선택성 및 상태 공간 파라미터화를 고려하지 않습니다. 이를 해결하기 위해 본 논문에서는 단일 층 및 다중 층 선택적 SSM에 대한 아키텍처 인지 그래디언트 및 평활도(smoothness) 경계를 도출하고, FedAvg와 FedProx에 대한 수렴 경계를 도출하여 순환 안정성, 입력 의존적 이산화, 상태 투영 노름(norm)이 연합 최적화에 미치는 영향을 규명합니다. 이어서 분석된 순환을 따르는 학습자(learner)를 활용해 교사 SSM이 생성한 시퀀스 상에서 단일 층 경계를 수치적으로 검증합니다. 이러한 분석을 바탕으로 로컬 학습과 클라이언트 이질성의 영향에 대한 가설을 수립하고, 6개 텍스트 도메인에 걸친 Mamba2 언어 모델링에서 9개의 연합학습 알고리즘을 비교하여 이를 검증합니다. 본 실험들은 SSM 맞춤형 경계가 실제 연합학습 알고리즘의 동작을 해석하는 기초를 어떻게 제공할 수 있는지를 보여줍니다.

arXiv:2409.09984v2cs.LG

증가하는 배치 크기와 감쇠하는 학습률을 활용한 샤프니스 인식 최소화 알고리즘의 수렴

Convergence of Sharpness-Aware Minimization Algorithms using Increasing Batch Size and Decaying Learning Rate

샤프니스 인식 최소화(Sharpness-Aware Minimization, SAM) 알고리즘과 갭 가이드 SAM(gap guided SAM, GSAM)을 포함한 그 변형들은 학습(training) 중 경험적 손실(loss)의 평평한 국소 최소점(flat local minima)을 찾아 심층 신경망(deep neural network) 모델의 일반화 성능을 성공적으로 향상해 왔습니다. 한편, 배치(batch) 크기를 늘리거나 학습률(learning rate)을 감쇠시키면 경험적 손실의 가파른 국소 최소점(sharp local minima)을 피할 수 있다는 사실이 이론적 및 실증적으로 입증된 바 있습니다. 본 논문에서는 코사인 어닐링(cosine annealing)이나 선형 학습률과 같이 배치 크기를 늘리거나 학습률을 감쇠시키는 GSAM 알고리즘을 고려하고, 그 수렴(convergence)을 이론적으로 증명합니다. 나아가 배치 크기 증가를 적용한 SAM(GSAM)과 그렇지 않은 경우를 수치적으로 비교하여, 증가하는 배치 크기를 사용할 때 일정한 배치 크기 및 학습률을 사용하는 경우에 비해 더 낮은 최악 조건의 $\ell_\infty$ 적응형 샤프니스(adaptive sharpness)를 달성함을 보입니다.

arXiv:2508.04860v2math.OC

SGD는 헤비테일 노이즈를 다룰 수 있는가?

Can SGD Handle Heavy-Tailed Noise?

확률적 경사하강법(SGD)은 대규모 최적화(optimization)의 초석이지만, 현대 머신러닝과 강화학습(RL)에서 흔히 발생하는 헤비테일(heavy-tailed) 노이즈 하에서의 이론적 동작은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 어떠한 적응형 수정도 거치지 않은 바닐라 SGD가 이러한 불리한 확률적 조건 하에서 이론적으로 성공할 수 있는지를 엄밀하게 조사합니다. 확률적 그래디언트(stochastic gradient)가 특정 $p \in (1, 2]$에 대해 유계 $p$차 모멘트를 가진다는 가정만을 바탕으로, 볼록(convex), 강볼록(strongly convex), 비볼록(non-convex) 문제 클래스 전반에 걸쳐 (사영) SGD에 대한 정밀한 수렴(convergence) 보장을 확립합니다. 특히 볼록 및 강볼록 영역에서 최소한의 가정 하에 SGD가 각각 $\mathcal{O}(\varepsilon^{-\frac{p}{p-1}})$ 및 $\mathcal{O}(\varepsilon^{-\frac{p}{2(p-1)}})$의 미니맥스 최적 표본 복잡도(sample complexity)를 달성함을 보여줍니다. 비볼록 목적 함수에 대해서는 표준적인 매끄러움(smoothness)과 유계 중심 $p$차 모멘트 하에서 $\mathcal{O}(\varepsilon^{-\frac{2p}{p-1}})$ 복잡도로 정류점(stationary point)에 수렴함을 증명하며, 이에 일치하는 SGD 전용 하한을 보완하여 어떠한 결정론적 양의 비증가 학습률(step-size) 스케줄로도 이 속도를 향상시킬 수 없음을 보여줍니다. 이러한 결과는 헤비테일 노이즈가 SGD를 비효율적으로 만든다는 지배적인 관점에 도전하며, 분산이 무한한 영역에서도 바닐라 SGD가 견고하고 이론적으로 원칙에 입각한 기준선(baseline)임을 확립합니다.

arXiv:2507.12091v2math.OC

부호 기반 모멘텀 방법론을 위한 개선된 수렴 보장

Better Convergence Guarantees for Sign-Based Momentum Methods

본 논문은 모멘텀(momentum) 업데이트를 사용하는 부호 기반 방법론(sign-based methods)에 대한 개선된 분석을 제시합니다. 기존의 부호 기반 방법론은 분리 가능한 매끄러움(separable smoothness) 가정 하에서 $\mathcal{O}(T^{-1/4})$의 수렴 속도를 달성하지만, 일반적으로 큰 배치 크기를 필요로 하거나 단봉형 대칭 확률적 노이즈(unimodal symmetric stochastic noise)를 가정합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 모멘텀을 적용한 signSGD가 추가적인 가정 없이 일정한 배치 크기를 사용하여 동일한 수렴 속도를 달성할 수 있음을 입증합니다. 또한 $l_2$-매끄러움 조건 하에서의 수렴 속도를 규명하여 문제의 차원 $d$에 대해 기존 연구 결과보다 $\mathcal{O}(d^{1/2})$만큼 향상된 결과를 제시합니다. 나아가 분산 환경에서의 부호 기반 방법론을 탐구하여, 제안된 방법이 각각 기존 결과인 $\mathcal{O}\left( dT^{-1/4} + dn^{-1/2} \right)$ 및 $\mathcal{O}\left( d^{3/8}T^{-1/8} \right)$을 능가하는 $\mathcal{O}\left( d^{1/2}T^{-1/2} + dn^{-1/2} \right)$ 및 $\mathcal{O}\left(d^{1/4}T^{-1/4}\right)$의 수렴 속도를 제공함을 보입니다. 수치 실험을 통해서도 제안된 방법들의 효과를 검증합니다.

arXiv:2607.08104v2cs.LG

바닐라 SGD와 모멘텀은 헤비테일 노이즈에서도 수렴한다: 그래디언트 클리핑 또는 정규화 없는 수렴 분석

Vanilla SGD with Momentum Survives Heavy-Tailed Noise: Convergence Analysis without Gradient Clipping or Normalization

그래디언트 클리핑이나 정규화 없이 헤비테일 노이즈 환경에서 모멘텀을 갖춘 바닐라 SGD가 강볼록·볼록·비볼록 목적함수 모두에서 수렴함을 최초로 이론적으로 증명했다. 단, 도출된 수렴 속도는 클리핑·정규화 변형 SGD의 최적 속도보다 열등하여 바닐라 방법의 본질적 한계를 드러내며, 안정적 수렴을 위해 Hölder 연속성 지수 ν와 꼬리 지수 𝔭 사이의 조건 ν+1≤𝔭가 핵심적임을 실험으로 확인했다.

arXiv:2607.22221v1stat.ML

Bradley--Terry 모델에 대한 Zermelo형 반복법 계열의 수렴 분석

Convergence analysis of a family of Zermelo-type iterations for the Bradley--Terry model

Zermelo 알고리즘은 Bradley--Terry(BT) 모델에서 최대 가능도 추정량을 계산하는 고전적인 방법이지만, 실무에서 그 수렴이 느릴 수 있다. 계산을 가속하기 위해 Newman은 $α$로 매개변수화된 Zermelo형 고정점 반복법 계열을 도입했으며, $α=1$에서 Zermelo 알고리즘이 복원된다. 경험적 증거는 $α=0$ 선택이 종종 상당히 더 빠르게 수렴함을 시사하여 유망한 대안이 되지만, 이러한 가속의 기저 메커니즘은 여전히 불명확하다. 본 논문은 체계적인 국소 수렴 분석을 통해 이 현상에 대한 이론적 통찰을 제공한다. 우리는 동기 및 비동기 업데이트 하에서 국소 수렴 인자에 대한 닫힌 형태 표현을 유도하고, 관련 야코비안 행렬의 스펙트럼 분석을 통해 $α$에 대한 의존성을 분석한다. 동기 업데이트의 경우, $α<1$일 때 알고리즘이 수렴하지 못할 수 있음을 보이며, 모집단 BT 모델 하에서 국소 수렴 인자가 $α$에 대해 준볼록(quasi-convex)임을 보인다. 반면 비동기 업데이트는 항상 국소적으로 수렴하며, 일관된 순서의 이분 비교 그래프에 대한 모집단 BT 모델 하에서 국소 수렴 인자가 $α$에 대해 단조 증가함을 증명하여, 이 설정에서 $α=0$의 최적성을 확립한다. 우리는 또한 BT 모델 하에서 모집단 수렴 인자에 대한 점근 근사 결과를 확립하여 그 실용적 관련성을 정당화한다. 합성 및 실제 데이터셋에 대한 수치 실험이 이론을 확인한다. 우리의 분석은 기존 수렴 결과를 보완하며, $α=0$의 가속이 매개변수 선택뿐 아니라 더 중요하게는 비동기 업데이트 사용에서 기인함을 보여준다.

arXiv:2607.22211v1math.NA

폐루프 생성 선택: 수렴, 메모리, 그리고 노이즈 오라클

Closed-Loop Generative Selection: Convergence, Memory, and Noisy Oracles

폐루프 생성 선택은 계산 약물 발견의 핵심 방법이 되었다. 학습된 생성 모델이 후보 분자를 제안하고, 적합도(fitness) 오라클이 이를 점수화하며, 최상의 후보들이 유지된 뒤 다음 라운드 전에 모델이 이 엘리트 집합으로 재학습된다. 널리 사용됨에도 불구하고, 이 방법은 엄밀한 수렴 이론이 부족했다. 이는 주로 매 라운드마다 모델을 재학습하면 고전적 진화 알고리즘 분석이 의존하는 마르코프(Markov) 성질이 깨지기 때문이다. 우리는 이 클래스의 알고리즘에 대한 자급자족적인 수렴 이론과 기대 실행 시간 이론을 개발한다. 확장된 상태 공간에서 마르코프 구조를 복원함으로써, 엘리티즘(elitism)이 탐색을 흡수(absorbing)하게 만든다는 것을 보이고, 거의 확실(almost-sure) 수렴과 함께 탐색을 각 적합도 수준을 탈출하는 데 소요된 시간으로 분해하는 실행 시간 상한을 증명한다. 그런 다음 모델의 메모리—과거 데이터 중 얼마나 많은 부분으로 학습하는지—의 역할을 분석한다. 학습이 더 많은 데이터로 꾸준히 개선될 때, 더 깊은 메모리는 결코 해가 되지 않는다. 그렇지 않을 때, 탈출 시간(exit-time) 분석은 최적 메모리 깊이를 특정하고, 과도한 메모리가 실제로 수렴을 느리게 할 수 있음을 보인다. 이론은 다목적 탐색과 노이즈 오라클로 확장된다. 경꼬리(light-tailed) 노이즈 하에서 몇 번의 반복 평가가 진행을 보증하는지, 그리고 견고(robust) 추정량이 중괄꼬리(heavy-tailed) 하에서 보장을 어떻게 복원하는지를 정량화한다. 약물 설계의 진정한 병목인 오라클 평가의 관점에서 재구성하면, 분석은 구체적이고 평가를 최소화하는 전략을 제공한다. 재현 가능한 연구가 예측을 확인하며, 여기에는 과도한 메모리의 놀라운 비용도 포함된다. 우리는 세 가지 미해결 문제로 마무리한다.

arXiv:2607.21579v1math.OC

모든 차원 $n\geq 4$에서 바질라이-보르웨인 방법은 이차 함수의 개집합에서 초선형 수렴에 실패한다

Barzilai-Borwein Fails Superlinear Convergence on an Open Set of Quadratics for Every Dimension $n\geq 4$

바질라이-보르웨인(BB) 방법은 연속 최적화(continuous optimization)에서 강한 실용적 성능을 보여 왔지만, 그 수렴 동역학은 여전히 잘 이해되지 않는다. 특히, 핵심적인 미해결 질문은 BB가 거의 모든 엄격 볼록(strictly convex) 이차 문제와 초기화에 대해 초선형으로 수렴하는지 여부이다. 우리는 이 질문에 부정적인 답을 제공한다. 구체적으로, 모든 유한 차원 $n\geq4$에 대해, 우리는 장 바질라이-보르웨인 방법(BB1)이 수렴하지만 근-초선형(root-superlinearly)으로는 수렴할 수 없는, 비어 있지 않은 개집합(따라서 Lebesgue 측도가 양수인) 엄격 볼록 이차 문제 및 초기화점들의 집합을 구성한다. 더 정확히, 명시적 상수 $ρ_{\min}=10^{-6},ρ_{\max}=0.61$에 대해, 그래디언트의 모든 스펙트럼 성분은 해당 기하급수(geometric sequence)로 위아래로 제한된다. 따라서 그래디언트 노름과 오차의 에너지 노름은 동일한 비율의 양측 기하 추정을 만족하며, 목적 함수 갭(objective gap)은 제곱된 비율의 해당 추정을 만족한다. 특히, 세 양 모두 기하급수로 아래에서 제한되므로, 초선형 수렴은 배제된다. 이 구성은 매우 비자명하며, 4차원에서 사영화된 BB 동역학의 비공진(nonresonant), attracting 7-주기(seven-cycle)에 대한 컴퓨터 보조 증명에 기반한다.

arXiv:2311.15365v3cs.LG

Łojasiewicz--Simon 부등식을 통한 심층 학습 연속 모델의 수렴 결과

A convergence result of a continuous model of deep learning via a Łojasiewicz--Simon inequality

우리는 각 층이 유클리드 매개변수 공간 상의 확률 측도로 매개변수화되는 연속 깊이(mean-field) 모델에서 심층 신경망에 대한 이상화된 학습 과정을 연구한다. 학습 역학은 고정된 $L^2$-정규화를 갖는 목적 함수의 Wasserstein형 그래디언트 흐름으로 공식화된다. 적절한 해석성 및 성장 가정과 함께 강제(coercivity) 가정, 그리고 초기 데이터의 충분한 정칙성 하에서, 학습 시간이 무한대로 갈수록 모든 최대 기울기 곡선이 목적 함수의 단일 임계점으로 수렴함을 증명한다. 증명은 곡선의 콤팩트성(compactness)과 계량 기울기(metric slope)에 대한 Łojasiewicz--Simon 부등식을 결합한다. 부등식을 확립하기 위해, 목적 함수를 확률 변수의 Hilbert 공간으로 올리고, Hilbert 공간 위상에서의 연속 가미분성 결여를 극복하기 위해 더 강한 $L^\infty$ 위상에서 올려진 그래디언트의 해석성을 이용한다. 우리의 수렴 결과는 전역 변위(displacement) 볼록성, Polyak--Łojasiewicz형 조건, 또는 최소화점 근처의 초기화를 요구하지 않으며, 목적 함수는 본질적으로 비볼록 상태로 남을 수 있다.

arXiv:2607.14731v1cs.LG

평활성 상수에는 무엇이 담겨 있는가? 유계 2차 이종성 하 Local SGD의 더 정밀한 수렴률

What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity

Local SGD(연합 평균화(Federated Averaging)로도 알려짐)는 널리 사용되는 분산 최적화(optimization) 알고리즘이다. Local SGD는 실무에서 미니배치 SGD와 같은 대안들보다 종종 더 나은 성능을 보이지만, 이론은 현실적인 데이터 이종성 하에서 로컬 업데이트가 언제·왜 도움이 되는지를 여전히 부분적으로만 설명한다. [Patel et al., 2025]의 최근 연구는 유계 2차 이종성 가정이 강볼록 목적함수에 대한 Local SGD의 효율을 포착한다는 것을 보여 주며, 동일한 원리가 일반 볼록 설정으로 확장된다고 추측한다. 본 논문에서는 유계 2차 이종성 하 일반 볼록 목적함수에 대한 Local SGD의 개선된 수렴 보장을 확립함으로써 이 추측을 증명한다. 또한 이 설정에서 Local SGD에 대한 알려진 최선의 하한을 개선하여, 우리의 상한이 거의 tight함을 보인다. 이러한 결과를 종합하면 Local SGD에 대한 더 날카롭고 세밀한 수렴 이론이 제공된다. 기법의 추가 적용으로, 치환을 사용한 순차 SGD에 대한 하한을 제시하여 2차 이종성이 드문 고곡률(high-curvature) 클라이언트의 영향을 어떻게 포착하는지 보여 준다.

arXiv:2607.10263v1cs.LG

이중 레벨 최적화를 위한 단일 루프 방법의 정밀 분석

Sharper Analysis of Single-Loop Methods for Bilevel Optimization

이중 레벨 최적화(bilevel optimization)는 하이퍼파라미터 최적화, 메타 학습(meta-learning), 신경망 구조 탐색(neural architecture search), 강화학습 등 다양한 머신러닝 응용의 기반이 된다. 하이퍼그래디언트(hypergradient) 기반 방법들이 크게 발전하였음에도, 이론적 보장과 효율성을 위해 요구되는 실용적인 단일 루프(single-loop) 구현 사이의 격차는 여전히 존재한다. 본 논문에서는 제안하는 분석 프레임워크인 분리 노름 분석(decoupled norm analysis, DNA)을 활용하여, 단일 루프 근사 암묵적 미분(AID)과 반복 미분(ITD) 방법의 보다 정밀한 수렴 결과를 확립함으로써 이 격차를 해소한다. AID의 경우, 수렴 속도를 $\mathcal{O}(κ^6/K)$에서 $\mathcal{O}(κ^5/K)$로 개선하였으며, 여기서 $κ$는 내부 레벨 문제의 조건수(condition number)이다. ITD의 경우, 점근 오차가 $\mathcal{O}(κ^2)$임을 증명하여 기존의 알려진 하한(lower bound)과 정확히 일치하며 이전의 $\mathcal{O}(κ^3)$ 보장을 개선하였다. 합성 및 실제 태스크에 대한 수치 실험이 이론적 결과를 뒷받침한다.

arXiv:2607.09167v1cs.LG

비볼록 최적화에서의 스케줄-프리 방법 이해: 수렴률 보장과 안장점 탈출

Understanding Schedule-Free Methods in Nonconvex Optimization: Rate Guarantees and Escaping Saddles

스케줄-프리(Schedule-Free) 방법은 학습률 스케줄러의 설계 및 튜닝 부담을 완화하면서도 튜닝된 스케줄러를 사용하는 최적화 기법과 동등하거나 때로는 이를 능가하는 성능을 보여 점점 더 많은 관심을 받고 있다. 이러한 강력한 실증적 결과에도 불구하고, 현대 머신러닝 목적 함수가 주로 발생하는 비볼록(nonconvex) 최적화 환경에서의 수렴 이론은 거의 탐구되지 않은 채로 남아 있었다. 본 논문에서는 보조적 수정이나 제한적 조건 없이 표준 형태의 스케줄-프리 경사하강법과 스케줄-프리 확률적 경사하강법에 대해, 매끄럽지만 비볼록일 수 있는 목적 함수에 대한 최악의 경우(worst-case) 분석을 제공한다. 이 방법들과 연관된 연속 시간 극한 상미분방정식으로부터 도출한 Lyapunov 분석을 기반으로, 스케줄-프리 경사하강법과 스케줄-프리 확률적 경사하강법이 1차 방법들 중 달성 가능한 최적의 최악의 경우 수렴률을 달성함을 보인다. 나아가 스케줄-프리 경사하강법을 비자율 동역학 시스템으로 정식화하고, 임의로 작은 일회성 섭동 하에서 엄격한 안장점(strict saddle) 회피를 증명한다. 이러한 이론적 결과들은 스케줄-프리 방법이 보여주는 강력한 성능에 대한 더 나은 이해를 제공한다.

arXiv:2607.08340v1cs.LG

Dueling Q-Learning의 스펙트럼 분석

Spectral Analysis of Dueling Q-Learning

Dueling Q-learning의 Q-함수를 행동-공통(action-common) 및 행동-차별(action-differential) 성분으로 분해하는 중심화된(centered) 표 형식(tabular) 표현을 분석하여, 비정규화·비사영(unregularized, unprojected) 상수 스텝 크기 재귀식에 대해 전환 선형 시스템(switching linear system) 및 결합 스펙트럼 반경(joint spectral radius, JSR)을 활용한 수렴 보장을 도출한다. 결정론적 버전에 대한 정확한 SLS 표현과 확률론적 버전에 대한 유한 시간 오차 한계를 제시함으로써, 가치 업데이트와 이점 업데이트가 두 부분공간에 서로 다른 이득(gain)으로 작용하는 메커니즘을 이론적으로 규명한다.

arXiv:2508.21571v2cs.LG

포아송 방정식을 위한 광폭 2층 물리 정보 신경망의 확률적 그래디언트 방법 수렴성

Convergence of Stochastic Gradient Methods for Wide Two-Layer Physics-Informed Neural Networks for the Poisson Equation

포아송 방정식을 푸는 과매개변수화된 2층 물리 정보 신경망(PINNs)을 학습할 때, 확률적 경사하강법(SGD)과 확률적 경사 흐름(SGF)이 높은 확률 의미에서 선형 수렴함을 이론적으로 증명하였다. 분석의 핵심은 학습 과정에서 그람(Gram) 행렬의 양정치성(positive definiteness)을 보장하는 것이며, 이를 통해 결정론적 알고리즘만 다루던 기존 연구를 확률적 최적화 방법으로 확장하였다.

arXiv:2409.08469v4math.ST

Stein 변분 경사하강법의 개선된 유한 입자 수렴률

Improved Finite-Particle Convergence Rates for Stein Variational Gradient Descent

SVGD(Stein Variational Gradient Descent) 알고리즘의 유한 입자 수렴률을 KSD(Kernelized Stein Discrepancy)와 Wasserstein-2 메트릭에서 분석하여, N개 입자의 결합 밀도와 타깃 측도 간 상대 엔트로피의 시간 도함수를 분리하는 핵심 통찰을 통해 $O(1/\sqrt{N})$ 수렴률을 도출했다. Shi와 Mackey(2024) 대비 이중 지수적 개선을 달성하였으며, '쌍선형 + Matérn' 커널을 이용한 Wasserstein-2 수렴 및 장기 혼돈 전파 결과도 함께 제시한다.

arXiv:2606.30930v1stat.ML

안정성의 경계에서의 SGD: 큰 학습률을 이용한 확률적 안정화

SGD at the Edge of Stability: Stochastic Stabilization with Large Learning Rates

SGD의 확률적 동역학을 분석하여 임의로 큰 학습률에서도 다중 클래스 교차 엔트로피 손실에 대한 엄밀한 수렴 보장을 제공하며, 곡률 기반 진동이 지배하는 안정성의 경계(Edge of Stability) 레짐과 안정적 레짐 사이를 오가는 SGD가 확률적 Lyapunov 안정성 이론을 통해 스스로 자기 안정화(self-stabilization)함을 선형 분류기와 2층 신경망 모두에서 이론적으로 증명한다.

arXiv:2602.15008v2cs.LG

Efficient Sampling with Discrete Diffusion Models: Sharp and Adaptive Guarantees

Diffusion models over discrete spaces have recently shown striking empirical success, yet their theoretical foundations remain incomplete. In this paper, we study the sampling efficiency of score-based discrete diffusion models under a continuous-time Markov chain (CTMC) formulation, with a focus on $τ$-leaping-based samplers. We establish sharp convergence guarantees for attaining $\varepsilon$ accuracy in Kullback-Leibler (KL) divergence for both uniform and masking noising processes. For uniform discrete diffusion, we show that the $τ$-leaping algorithm achieves an iteration complexity of order $\tilde O(d/\varepsilon)$, with $d$ the ambient dimension of the target distribution, eliminating linear dependence on the vocabulary size $S$ and improving existing bounds by a factor of $d$; moreover, we establish a matching algorithmic lower bound showing that linear dependence on the ambient dimension is unavoidable in general. For masking discrete diffusion, we introduce a modified $τ$-leaping sampler whose convergence rate is governed by an intrinsic information-theoretic quantity, termed the effective total correlation, which is bounded by $d \log S$ but can be sublinear or even constant for structured data. As a consequence, the sampler provably adapts to low-dimensional structure without prior knowledge or algorithmic modification, yielding sublinear convergence rates for various practical examples (such as hidden Markov models, image data, and random graphs). Our analysis requires no boundedness or smoothness assumptions on the score estimator beyond control of the score entropy loss.

arXiv:2606.29893v1math.OC

AdaGrad does not adapt to Hölder-smoothness for composite objectives

We exhibit a simple deterministic one-dimensional convex composite optimization problem for which AdaGrad scheme does not achieve the classical convergence rate $\mathcal{O}(n^{-(1+ν)/2})$ associated with Hölder-smooth objectives. The example highlights a basic mismatch between classical AdaGrad accumulation and composite optimality. A main insight is that the gradient of the smooth term may not vanish at the optimum, causing AdaGrad to keep reducing its stepsize excessively and converge more slowly. We also discuss why alternative accumulation mechanisms based on gradient mappings or on successive gradient differences, avoid this pathology.

arXiv:2510.03164v2cs.LG

워밍업이 왜 필요한가? 이론적 관점에서의 고찰

Why Do We Need Warm-up? A Theoretical Perspective

학습률 워밍업(learning rate warm-up) — 학습 초기에 학습률을 점진적으로 증가시키는 기법 — 은 현대 심층 학습(deep learning)에서 보편적인 휴리스틱으로 자리잡았지만, 그 이론적 토대는 여전히 충분히 이해되지 않고 있다. 본 연구에서는 워밍업이 학습을 개선하는 이유에 대한 원칙적인 설명을 제시한다. 우리는 $(L_0, L_1)$-평활성(smoothness) 조건의 일반화에 기반하며, 이 조건은 지역 곡률을 손실(loss) 준최적성(suboptimality)의 선형 함수로 한정하고 바람직한 폐쇄 성질을 나타낸다. 우리는 이 조건이 일반적인 신경망 구조에서 만족되며 학습 초기 최적화 지형의 곡률을 정확하게 포착함을 이론적으로와 실험적으로 모두 보인다. 이 곡률 조건에 반응하여 학습률을 적응적으로 조정하면 자연스럽게 워밍업과 유사한 스케줄이 유도되며, 이 선택이 고정 학습률 사용에 비해 증명 가능하게(provably) 더 빠른 수렴(convergence) 보장을 제공함을 보인다. 언어 및 비전 모델에 대한 실험에서, 결과적으로 도출된 단일 매개변수(parameter) 워밍업 스케줄이 튜닝된 선형 워밍업과 동등한 성능을 보이며 워밍업 미적용 방식보다 개선됨을 확인한다.