PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.27991v5stat.ML

동적 랜덤 효과 추론으로서의 그래디언트 플로우 최적화: 심층 학습에의 적용을 위한 검정 및 조기 종료

Gradient-Flow Optimization as Dynamic Random-Effects Inference: Testing and Early Stopping with Applications to Deep Learning

그래디언트 플로우 최적화를 랜덤 효과 모델(random-effects model)의 통계적 추론 문제로 재해석하여, 학습 시간을 분산 성분(variance component) 매개변수로 다루는 이론적 프레임워크를 제시한다. 이를 기반으로 REML(restricted maximum likelihood) 기반 조기 종료(early stopping) 규칙을 도출하였으며, UK Biobank 프로테오믹스 데이터 실험에서 검증 데이터 분할 없이도 경쟁력 있는 예측 정확도를 달성함을 보인다.

arXiv:2606.05335v2cs.LG

대규모 선형 오토인코더에서 학습 영역의 프리즘 계층 구조

A prism hierarchy of learning regimes in large linear autoencoders

머신러닝 모델에 대한 이론적 연구에서는 경사하강법(gradient descent)의 학습(training) 역학이 이론적으로 다루기 쉬워지는 다양한 극한 영역(limiting regime)을 흔히 고려합니다. 그러나 특정 유형의 모델에 대해 정성적으로 서로 다른 극한 학습 영역들을 체계적으로 파악할 수 있는 전체적인 체계(picture)를 갖추는 것이 바람직합니다. 본 논문에서는 입력 및 잠재 차원, 초기화(initialization) 크기, 그리고 학습 데이터셋 크기로 특성화되는 대규모 가중치 공유(weight-tied) 선형 오토인코더를 대상으로 이러한 체계를 제안합니다. 이 모델은 가중치에 대해 비선형적이며 그래디언트 플로우(gradient flow)의 일반적인 이론적 해를 갖지 않습니다. 본 연구에서는 형식적 손실 확장 계층 구조(formal loss-expansion hierarchy) 수준에서 이 모델의 극한 영역들이 삼각기둥(triangular prism)의 면과 자연스럽게 대응됨을 보입니다. 구체적으로 삼각기둥의 2차원 면(2-face)과 연관된 다섯 가지 기본 극한 영역이 존재합니다: (1) 대규모 데이터(large-data), (2) 소규모 데이터(small-data), (3) 평균장(mean-field), (4) 좁은 잠재 공간(narrow-latent), 그리고 (5) 자유(free) 영역입니다. 영역 (1, 2, 3, 4)에 대해 그래디언트 플로우 하에서의 극한 학습 손실 및 모집단 역학을 유도하고 엄밀하게 특성화하며, 이러한 극한으로의 수렴(convergence)을 엄밀히 증명하고 실험 결과와의 우수한 일치성을 확인합니다. 그 결과로 얻은 극한들은 스펙트럼 임계 감속(spectral critical slowing), 초기화로 인한 주성분 분석(PCA) 최적점으로부터의 고착(trapping), 그리고 모집단 손실은 지수적으로 수렴하는 반면 학습 손실은 대수적(algebraically)으로만 완화되는 영역들을 밝혀냅니다.

arXiv:2311.15365v3cs.LG

Łojasiewicz--Simon 부등식을 통한 심층 학습 연속 모델의 수렴 결과

A convergence result of a continuous model of deep learning via a Łojasiewicz--Simon inequality

우리는 각 층이 유클리드 매개변수 공간 상의 확률 측도로 매개변수화되는 연속 깊이(mean-field) 모델에서 심층 신경망에 대한 이상화된 학습 과정을 연구한다. 학습 역학은 고정된 $L^2$-정규화를 갖는 목적 함수의 Wasserstein형 그래디언트 흐름으로 공식화된다. 적절한 해석성 및 성장 가정과 함께 강제(coercivity) 가정, 그리고 초기 데이터의 충분한 정칙성 하에서, 학습 시간이 무한대로 갈수록 모든 최대 기울기 곡선이 목적 함수의 단일 임계점으로 수렴함을 증명한다. 증명은 곡선의 콤팩트성(compactness)과 계량 기울기(metric slope)에 대한 Łojasiewicz--Simon 부등식을 결합한다. 부등식을 확립하기 위해, 목적 함수를 확률 변수의 Hilbert 공간으로 올리고, Hilbert 공간 위상에서의 연속 가미분성 결여를 극복하기 위해 더 강한 $L^\infty$ 위상에서 올려진 그래디언트의 해석성을 이용한다. 우리의 수렴 결과는 전역 변위(displacement) 볼록성, Polyak--Łojasiewicz형 조건, 또는 최소화점 근처의 초기화를 요구하지 않으며, 목적 함수는 본질적으로 비볼록 상태로 남을 수 있다.

arXiv:2501.07400v3cs.LG

심층 학습에서 유효 그래디언트 플로우 방정식의 유도와 학습 데이터의 동적 절단

Derivation of effective gradient flow equations and dynamical truncation of training data in Deep Learning

렐루 활성화 함수를 사용하는 심층 학습에서, 입력 층의 유클리드 손실에 대한 경사하강법에 기반하여, 가중치가 엄밀한 의미에서 활성화에 의해 구별되는 좌표계에 적응되어 있다는 가정 하에, 누적 편향과 가중치를 지배하는 명시적 방정식을 유도한다. 경사하강법이 입력 층에서의 동역학적 과정에 해당함을 보이며, 이 과정에서 데이터 클러스터가 점진적으로 복잡도가 감소("절단")되는데, 그 속도는 지수적이며 이미 절단된 데이터 포인트 수가 많을수록 더 빨라진다. 그래디언트 플로우 방정식의 여러 유형의 해에 대해 상세히 논의한다. 본 연구의 주요 동기는 지도 학습에서의 해석 가능성 문제에 대한 통찰을 제공하는 것이다.

arXiv:2607.12332v1cs.LG

무한소 초기화 하에서 대각 선형 신경망의 그래디언트 흐름 역학과 암묵적 바이어스

Gradient Flow Dynamics and Implicit Bias of Diagonal Linear Networks under Infinitesimal Initialization

무한소 초기화 하에서 회귀 작업에 대한 대각 선형 신경망의 그래디언트 흐름 역학을 연구한다. Pesme & Flammarion (2023)의 정리 1을 확장하여, 분석을 심층 대각 선형 신경망과 더 넓은 범주의 2층 대각 선형 신경망(정의 4.1에 정의된 것) 모두에 대해 일반화한다. 구체적으로, 이러한 모델의 학습 궤적이 제안된 알고리즘 1에 의해 동등하게 특성화될 수 있음을 보인다. 나아가 이 알고리즘이 수정된 $ \mathcal{l}_1 $ 노름 최소화 문제의 해로 수렴함을 증명한다. 그 결과, 무한소 초기화 영역에서 두 신경망 구조 모두의 암묵적 바이어스가 수정된 $ \mathcal{l}_1 $ 노름에 해당함을 확립한다. 또한 구조적 불변 다양체(Structural Invariant Manifold, SIM)(Zhao et al., 2026)를 이러한 역학을 지배하는 핵심 기하 구조로 식별함으로써, 학습 과정을 형성하는 근본 메커니즘에 대한 통찰을 제공한다.

arXiv:2607.10869v1cs.LG

Singular perturbations and hierarchical learning in two-layer neural networks

We study the population gradient flow of an infinitely wide two-layer neural network learning a misspecified single-index model in high dimension. The two layers are optimized jointly, with a perturbative parameter tuning the relative training speed between the first and second layer. This setting was considered by Berthier, Montanari and Zhou in \cite{berthier2024learning}, who conjectured a hierarchical learning scenario with explicit timescales as the second layer is trained faster than the first. In this paper, we prove that the constant and linear components of the hidden link function are indeed recovered within the predicted timescales, at sharp explicit thresholds. We then analyze the onset of learning of the quadratic component and show that the components learned at earlier stages continue to influence the dynamics in an essential way. Our proof is based on quantitative approximation results for singularly perturbed flows evolving near a manifold defined by integral constraints. At a phenomenological level, we also show that the empirical measure of the weights displays singular behaviour when reaching the quadratic component of the hidden link, with a small fraction of neurons growing significantly while the remaining ones rearrange to preserve the components already learned.

arXiv:2210.16286v2cs.LG

부분 학습된 3층 신경망의 함수 공간 평균장 이론

A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks

신경망의 학습 동역학을 이해하기 위해, 선행 연구들은 너비가 무한대로 커지는 경우 2층 신경망의 평균장 극한(mean-field limit)을 고려하였으며, 그래디언트 흐름(gradient flow) 학습 하에서의 수렴에 대한 이론적 보장과 근사 및 일반화 능력을 확립하였다. 본 연구에서는 첫 번째 층의 가중치가 무작위로 샘플링되어 학습되지 않는 특정 유형의 3층 신경망의 무한 너비 극한을 연구한다. 극한 모델을 엄밀하게 정의하기 위해, 뉴런의 표현을 유클리드 공간에서 함수 공간으로 끌어올림으로써 평균장 이론을 확장한다. 이를 통해 평균장 학습 동역학을 시간에 따라 변화하는 커널을 가진 함수적 그래디언트 흐름으로 확립하며, 해당 커널은 적절한 가정 하에서 양정치(positive-definite)를 유지함을 보여 학습 손실의 선형 수렴율을 증명한다. 또한, 평균장 학습 동역학을 통해 얻어지는 해를 포함하는 새로운 함수 공간을 정의하고, 이 공간에 대한 Rademacher 복잡도 경계를 증명한다. 특히, 본 분석은 모델의 다양한 스케일링 선택에 적용되어 두 가지 상이한 평균장 극한 체계를 도출하며, 두 체계 모두 학습을 통한 특징 학습(feature learning)을 나타낸다.

arXiv:2607.03871v1cs.LG

최소 MMD 추정에 대한 그래디언트 플로우 관점

A Gradient Flow Perspective on Minimum MMD Estimation

최소 MMD(Maximum Mean Discrepancy) 추정의 최적화 문제에서 비볼록성으로 인해 기존 경사하강법이 정류점 수렴에 그치는 한계를 해소하기 위해, MMD 그래디언트 플로우에서 영감을 받은 사전조건 경사하강법(PGD) 방식을 제안하고 그래디언트 지배 조건 하에서 점근적 전역 수렴을 이론적으로 증명하였다. 다양한 매개변수 추정 및 복합 가설 검정 벤치마크 실험에서 제안된 PGD가 표준 경사하강법보다 우수한 수렴 성능을 보임을 실증적으로 확인하였다.

arXiv:2602.04548v2cs.LG

다이어그램 전개를 통한 그래디언트 흐름: 학습 체제와 명시적 해

Gradient Flow Through Diagram Expansions: Learning Regimes and Explicit Solutions

대규모 학습에서 그래디언트 흐름(GF)의 스케일링 체제를 분석하기 위해 손실 진화를 파인만 다이어그램과 유사한 다이어그램으로 인코딩한 멱급수 전개 프레임워크를 제안하고, 고차 텐서의 CP 분해 학습에서 NTK·평균장·자유 진화 등 lazy/rich GF 체제를 분류해 명시적 해를 도출한다. 형식적 손실 전개는 1차 편미분방정식(PDE)으로 환원되어 특성곡선법으로 풀 수 있으며, 이론적 예측이 실험과 잘 일치한다.

arXiv:2606.17816v1cs.LG

현대 신경망 아키텍처를 위한 보존 법칙

Conservation Laws for Modern Neural Architectures

경사하강법(gradient descent) 역학을 이해하는 것은 과매개변수화(over-parameterized) 모델의 성공을 설명하는 핵심이며, 여기서 암묵적 편향(implicit bias)은 그래디언트 흐름(gradient flow) 내의 보존 법칙을 통해 나타납니다. 이러한 법칙은 선형 및 렐루(ReLU) 네트워크에 대해서는 잘 이해되어 있으나, 현대 아키텍처에 대해서는 거의 탐구되지 않았습니다. 본 연구는 GELU, SiLU 및 SwiGLU 활성화 함수를 사용하는 피드포워드 네트워크, 사인(sinusoidal) 및 회전(rotary) 위치 인코딩이 적용된 멀티헤드 어텐션(attention), 그리고 다양한 게이팅 설계 하의 전문가 혼합(Mixture-of-Experts) 아키텍처를 포함한 최신 모델에 대한 보존 법칙을 특성화하기 위한 통합 프레임워크를 개발합니다. 우리의 이론적 발견은 예측된 불변량(invariants)을 검증하는 실험을 통해 뒷받침됩니다.