PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08380v1cs.LG

플랫 미니마 다양체 근방에서 큰 스텝 크기를 사용하는 경사하강법의 동역학

Dynamics of Gradient Descent with Large Step Size Near a Manifold of Flat Minima

경사하강법(GD) 이론에서 중요한 양 중 하나는 목적 함수 헤시안의 최대 고유값으로 정의되는 날카로움(sharpness)이다. 고전적 분석은 일반적으로 스텝 크기가 날카로움의 역수의 두 배보다 균일하게 작을 것을 요구하지만, 이 조건은 심층 신경망 학습에서 빈번히 위반된다. 최근 연구는 단일 스칼라 출력을 갖는 과매개변수화 최소제곱 설정에서 이 간극을 해소하였으며, 고립된 플랫 미니마의 근방에서 큰 스텝 크기 GD에 대한 표준형(normal form)을 제시하고 이에 대응하는 세 가지 수렴 결과를 확립하였다. 본 논문에서는 이 이론을 두 방향으로 확장한다: (1) 벡터 값 출력을 갖는 과매개변수화 최소제곱(임의로 많은 관측값을 가진 회귀 포함)으로의 확장, 그리고 (2) 플랫 미니마의 다양체 근방으로의 확장(행렬 인수분해와 같은 응용에 필수적임을 보인다). 우리는 cite{macdonaldeos}의 표준형과 세 가지 수렴 정리 모두를 이 더 넓은 설정으로 일반화하며, 독립적인 관심을 가질 수 있는 새로운 방법을 통한 특이 편미분방정식의 풀이를 포함한 여러 기술적 난제를 극복한다. 나아가 우리의 프레임워크가 온화한 가정 하에 심층 행렬 인수분해에 적용됨을 보이고, 몇 가지 새로운 구조적 결과를 도출한다. 특히 플랫 미니마의 집합이 구면의 곱 위에서 파이버 번들을 형성하며, 날카로움이 이 다양체를 따라 Morse-Bott 조건을 만족함을 증명한다.

arXiv:2603.05002v3cs.LG

비유클리드 경사하강법은 안정성의 경계에서 작동한다

Non-Euclidean Gradient Descent Operates at the Edge of Stability

방향적 평활성(Directional Smoothness) 개념을 활용해 안정성의 경계(Edge of Stability, EoS) 현상을 비유클리드 노름으로 일반화하여, ℓ∞-descent, Block CD, Spectral GD 등 기존에 EoS가 연구되지 않은 최적화 방법들에 대한 일반화된 첨예도(sharpness) 척도를 정의한다. MLP, CNN, Transformer 실험을 통해 이들 비유클리드 경사하강법에서도 점진적 첨예화 후 임계값 2/η 근방에서 진동하는 EoS 거동이 나타남을 실증하며, ICML 2026 구두 발표 논문으로 채택되었다.

arXiv:2510.03164v2cs.LG

워밍업이 왜 필요한가? 이론적 관점에서의 고찰

Why Do We Need Warm-up? A Theoretical Perspective

학습률 워밍업(learning rate warm-up) — 학습 초기에 학습률을 점진적으로 증가시키는 기법 — 은 현대 심층 학습(deep learning)에서 보편적인 휴리스틱으로 자리잡았지만, 그 이론적 토대는 여전히 충분히 이해되지 않고 있다. 본 연구에서는 워밍업이 학습을 개선하는 이유에 대한 원칙적인 설명을 제시한다. 우리는 $(L_0, L_1)$-평활성(smoothness) 조건의 일반화에 기반하며, 이 조건은 지역 곡률을 손실(loss) 준최적성(suboptimality)의 선형 함수로 한정하고 바람직한 폐쇄 성질을 나타낸다. 우리는 이 조건이 일반적인 신경망 구조에서 만족되며 학습 초기 최적화 지형의 곡률을 정확하게 포착함을 이론적으로와 실험적으로 모두 보인다. 이 곡률 조건에 반응하여 학습률을 적응적으로 조정하면 자연스럽게 워밍업과 유사한 스케줄이 유도되며, 이 선택이 고정 학습률 사용에 비해 증명 가능하게(provably) 더 빠른 수렴(convergence) 보장을 제공함을 보인다. 언어 및 비전 모델에 대한 실험에서, 결과적으로 도출된 단일 매개변수(parameter) 워밍업 스케줄이 튜닝된 선형 워밍업과 동등한 성능을 보이며 워밍업 미적용 방식보다 개선됨을 확인한다.

arXiv:2606.11431v1cs.LG

유클리드 안정성을 넘어선 미러 디센트(Mirror Descent): 초기화 민감도에서의 지수적 격차

Mirror Descent Beyond Euclidean Stability: An Exponential Separation in Initialization Sensitivity

미러 디센트(MD)는 경사하강법(GD)을 유클리드 기하학 너머로 확장하며, 최근 강화학습 및 대규모 언어 모델(LLM) 사후학습에서 KL 정규화된 정책 최적화를 위한 관점으로 재조명되었습니다. 이는 재현성과 신뢰성에 필수적인 기본적인 견고성 질문을 제기합니다: MD 동역학은 입력에 얼마나 민감한가? 우리는 종종 사전학습되거나 이전에 정렬된 모델 그 자체인 초기화에 초점을 맞춥니다. GD와 마할라노비스 기하학을 포함한 이차 정규화된 MD는 볼록하고 매끄러운 목적 함수에 대해 안정적인 것으로 잘 알려져 있습니다. 우리는 뚜렷한 대조를 보여줍니다: 정규화기가 비이차적이 되면, 유클리드 노름으로 잘 조건화된 정규화기가 있더라도 MD는 GD보다 초기화에 대해 지수적으로 더 민감할 수 있습니다. 우리는 볼록하고 매끄러운 목적 함수와 강하게 볼록하고 매끄러우며 잘 조건화된 정규화기를 갖는 3차원 구성을 제시합니다. 여기서 스텝 사이즈 $\eta$를 갖는 MD의 $T$번 반복 후 초기 $\varepsilon$ 섭동은 $\min\{\text{polylog}^{-1}(1/\varepsilon), \varepsilon e^{\Omega(\eta T)}\}$로 빠르게 증폭됩니다. 심플렉스 상의 표준적인 KL 정규화된 MD의 경우, 고차원이거나 경계 근처 영역에서 선형 목적 함수조차도 초기 $\varepsilon$ 섭동을 지수적으로 빠르게 증폭할 수 있음을 보여줍니다. 마지막으로, 앵커 포인트(anchor point)를 향한 브레그만 정규화 항을 추가하면 최적화 보장을 대부분 유지하면서 동역학을 안정화할 수 있음을 보여줍니다. 또한 앵커의 선택이 중요하다는 점을 보여줍니다: 초기화에 앵커링하는 것은 불안정성을 부분적으로만 완화하는 반면, 고정점에 앵커링하는 것은 더 안정적인 메커니즘을 제공합니다.