PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04775v2stat.ML

점수 기반 생성 모델에서 확률적 경사하강법의 비점근적 수렴

Non-asymptotic Convergence of Stochastic Gradient Descent in Score-based Generative Models

점수 기반 생성 모델(Score-based Generative Models, SGM)은 광범위한 응용 분야에서 데이터 생성에 있어 인상적인 성능을 달성해 왔습니다. 샘플링 절차의 통계적 특성은 점차 잘 이해되고 있는 반면, 학습의 기초가 되는 최적화 역학(optimization dynamics)에 대한 탐구는 여전히 상대적으로 미흡합니다. SGM은 일반적으로 가중치 적용 잡음 제거 점수 매칭(weighted denoising score-matching) 목적 함수를 최소화하여 학습되지만, 확률적 그래디언트를 이용한 최적화 보장은 여전히 제한적입니다. 본 연구에서는 SGM을 위한 확률적 경사하강법(SGD)을 연구하고 상호보완적인 두 가지 영역에서 결과를 도출합니다. 일반적인 점수 매개변수화에 대해 가중치 적용 잡음 제거 점수 매칭 목적 함수에 대한 SGD의 비볼록(non-convex) 분석을 도출하여, 결과로 얻어지는 최적화 경계(optimization bound)가 손실 가중치 및 시간 샘플링 분포에 어떻게 의존하는지 명확히 규명합니다. 이어서 과매개변수화된 2개 층 렐루(ReLU) 네트워크를 고려하고 확률적 그래디언트를 사용한 확산 학습에 맞춘 신경 탄젠트 커널(Neural Tangent Kernel) 분석을 개발하여, SGD 궤적을 따른 점수 근사 오차 경계를 제시합니다. 본 분석은 이러한 경계에서 재가중 인자(reweighting factor)의 역할을 정량화하여, 실제로 사용되는 가중치 선택에 대한 이론적 특성을 규명합니다.

arXiv:2609.26679v1cs.LG

그로킹의 스펙트럴 이론: 가중치 감쇠가 유도하는 특징 학습

A Spectral Theory of Grokking: Weight Decay induces Feature Learning

그로킹(grokking)에서는 학습 데이터에 대한 초기 적합이 일반화의 훨씬 늦은 개선과 분리된다. 이 지연 기간 동안 학습은 고정된 신경 접선 커널(NTK) 영역에서 과제 관련 커널 고유방향이 계속 진화하는 영역으로 이동할 수 있다. 우리는 lazy에서 rich 학습으로의 이러한 전환이 어떻게 지연된 일반화를 만들어낼 수 있는지에 대한 정량적 이론을 제공한다. 제곱 손실과 $L_2$ 가중치 감쇠로 학습된 동차(homogeneous) 네트워크에 대해, 암기(memorization) 이후에도 유한한 잔차가 남으며, 더 작은 NTK 고유값과 연관된 목표 성분에서는 더 큰 잔차 비율이 나타남을 보인다. 이 잔차들은 NTK 자체의 동역학에 되먹임되며, 결과 동역학을 과제 관련 스펙트럴 방향으로 투영하면 잔차가 주도하는 커널 성장과 가중치 감쇠가 경쟁하는 축약 시스템이 얻어진다. 이 시스템은 그로킹 시간 척도가 학습률과 가중치 감쇠의 곱에 의해 제어되며, 특징 학습이 임계 감쇠 근처에서 로그적으로 느려지고 그 이상에서는 과제 정렬 NTK 구조가 더 이상 일반화를 지탱할 수 없으며, 더 강한 감쇠가 적합(fitting) 자체를 막을 수 있음을 예측한다. 모듈러 덧셈(modular addition)에서 이러한 예측을 검증한다. 동차 MLP에서는 학습 정확도가 포화된 후에도 NTK에서 과제 정렬 푸리에 구조가 계속 출현하며, 다양한 학습률과 가중치 감쇠에 걸친 학습된 네트워크의 84$\times$90 격자가 예측된 위상(phase) 기하와 일반화 시간의 학습률·가중치 감쇠에 대한 역곱 스케일링을 재현한다. 1블록 트랜스포머는 정확한 동차성을 위반함에도 불구하고 42$\times$45 격자에서 유사한 거시적 위상 구조와 동일한 전환 시간 스케일링을 보인다. 종합하면, 이 결과들은 적합 이후 특징 학습을 일반화의 시작과 학습률·가중치 감쇠 평면에서의 위상 구조 모두와 연결하는 기계론적 유도를 제공한다.

arXiv:2607.11094v1cs.LG

Multi-dimensional training-priority weighting based on physical information propagation paths: a unified residual-weighting framework for physics-informed neural networks

Physics-informed neural networks (PINNs) have shown promise for solving partial differential equations (PDEs); however, their synchronous optimization treats residuals of different regions and constraints equally, which is inconsistent with the progressive "from source to response" physical information propagation path, degrading training stability and accuracy. Existing causal training methods focus mainly on the temporal dimension, lacking a unified characterization of spatial and boundary dimensions. To address this, we define a unified class of training priorities according to the physical information propagation path: premise regions should be learned before dependent regions; temporal, spatial, and boundary priorities are instances of this principle. Using neural tangent kernel (NTK) dynamics, we theoretically analyze why standard PINNs do not obey this priority: their residual convergence order is governed by the NTK spectrum and is independent of the propagation path. Accordingly, we propose a unified multi-dimensional priority-constraint framework that partitions the domain along the propagation path and constructs negative-exponential residual weights, converting the physical propagation order into a training priority. For cases with coexisting priorities, we introduce a directional compatibility coefficient to clarify that "orthogonal directions can be coupled multiplicatively in synergy, whereas coaxial opposite directions cannot." Benchmark cases show that this method consistently improves the convergence behavior and prediction accuracy of PINNs on problems with clear propagation paths or constraint-dominated structures, without modifying the network architecture and with controllable additional computational cost.

arXiv:2607.10200v1cs.LG

미분 신경 접선 커널과 그 양정성

The Differential Neural Tangent Kernel and Its Positivity

신경 접선 커널(NTK)은 과매개변수화 체계에서 신경망의 학습 동역학을 분석하는 강력한 도구 중 하나이다. 최근 이 이론적 프레임워크는 선형 편미분방정식(PDE)을 풀기 위한 물리 정보 신경망(PINNs)—매우 인기 있는 신경망 기반 PDE 솔버의 한 종류—으로 확장되었다. 이 분석에서 연관된 NTK의 양정성(positivity)은 핵심적인 역할을 한다. 그러나 PINNs에 대한 NTK의 양정성을 확립하는 것은 여러 미분 연산자의 존재로 인해 매우 어렵다. 본 연구에서는 NTK의 관점에서 PINNs를 분석하기 위한 새로운 이론적 프레임워크인 미분 신경 접선 커널(DNTK, Differential Neural Tangent Kernel)을 제안하고, RePU 및 매끄럽지만 비다항식인 활성화 함수를 포함한 광범위한 활성화 함수 클래스에 대해, 그리고 모든 선형 미분 연산자에 대해, 얕은 신경망과 깊은 신경망 모두에서 무한 너비 DNTK의 양정성을 확립한다. 이 이론적 결과들은 PINNs 학습을 위한 그래디언트 기반 알고리즘 분석의 토대를 마련한다.

arXiv:2607.06382v1stat.ML

합성적 학습을 위한 함수 공간 이분법: 신경 탄젠트 커널의 지수적 준최적성

A Function-Space Dichotomy for Compositional Learning: Exponential Sub-Optimality of the Neural Tangent Kernel

신경망이 합성적 구조(compositional structure) 과제에서 신경 탄젠트 커널(NTK)보다 우수하다는 경험적 관찰을 정량화하기 위해, 단위 원에서 타깃의 푸리에 복잡도(Fourier complexity)와 구조적 복잡도(architectural complexity)의 이분법을 통해 NTK 추정량이 미니맥스 하한보다 지수적으로 열등함을 이론적으로 증명했다. 깊이-L 반복 톱니파(iterated sawtooth)의 경우 NTK 회귀는 Ω(4^L) 샘플이 필요한 반면 최적 하한은 L의 다항식에 불과하며, 이 격차는 커널의 매끄러움 편향(smoothness bias)과 타깃의 합성적 구조 간의 함수 공간적 불일치에서 비롯됨을 수치 실험으로 확인했다.

arXiv:2607.02003v1stat.ML

이산으로 태어나 연속으로 만들어지다: 얕은 신경망의 변분 형식화

Born Discrete, Made Smooth: Variational Formulation of Shallow Neural Networks

얕은 신경망의 이산적 학습 문제를 가중 Sobolev 공간의 매개변수 밀도에 대한 연속 변분 대리 문제로 재공식화하여, 전역적으로 잘 정의된 λ-볼록 범함수와 거의 C³에 가까운 정칙성을 갖는 유일한 최적해의 존재를 증명한다. 이를 통해 반복 최적화 없이 단일 선형 시스템 풀이만으로 최적 매개변수 밀도를 구할 수 있으며, 크기 N의 유한-폭 네트워크가 O(1/N) 속도로 연속 최적해에 수렴함을 보여 과매개변수화의 이론적 이해를 위한 새로운 변분 해석학적 프레임워크를 제시한다.

arXiv:2511.07272v2cs.LG

신경 접선 커널(Neural Tangent Kernel) 재검토: 큰 폭과 깊이의 역할

Revisiting the Neural Tangent Kernel: the role of large width and depth

신경 접선 커널(NTK)이 큰 폭·깊이에서 과매개변수화 신경망을 설명하지 못한다는 기존 결론에 이의를 제기하며, lazy regime에서 개별 은닉 뉴런 활성화 편차는 사라져도 그 집합 norm은 남고 마지막 은닉층 활성화가 일정하지 않음을 실험과 이론으로 보인다. 무한 폭 ReLU 네트워크에서 깊이와 stopping time을 적절히 스케일링하면 대규모 데이터셋에서 비자명하고 안정적인 출력이 나오며, 이 거동의 안정성을 실증하고 다른 커널로 확장 가능한 핵심 성질을 제시한다.

arXiv:2606.06764v1stat.ML

심층 신경망을 이용한 경사하강법의 일반화에 대한 최적 속도

Optimal Rates for Generalization of Gradient Descent Methods with Deep Neural Networks

신경망 접선 커널(NTK) 영역 내에서 과매개변수화 신경망에 대한 경사하강법의 통계적 일반화 성능을 이해하는 데 최근 진전이 있었습니다. 그러나 회귀 문제에 대한 기존 연구 대부분은 얕은 네트워크 아키텍처로 제한되어 있어, 심층 신경망 이론에 상당한 공백이 남아 있습니다. 본 논문은 경사하강법(GD)과 확률적 경사하강법(SGD)으로 학습된 심층 ReLU 네트워크에 대한 포괄적인 일반화 분석을 제시하여 이 공백을 해결합니다. 구체적으로, 네트워크 폭이 네트워크 깊이와 학습 샘플 크기에 대해 다항식적으로 스케일링된다는 가정 하에, 심층 ReLU 네트워크를 사용하는 GD와 SGD 모두에 대해 알려진 첫 번째 초과 모집단 위험의 미니맥스 최적 속도를 확립합니다. 우리의 결과는 충분한 폭이 주어지면, 심층 ReLU 네트워크에 대한 경사하강법이 커널 방법과 대등한 최적의 일반화 속도를 달성할 수 있음을 보여줍니다.

arXiv:2511.07380v2cs.CL

저자원 도메인 적응을 위한 유용한 일반 데이터 마이닝

Mining Useful General Data for Low-Resource Domain Adaptation

도메인 특화 데이터의 희소성으로 인해 대규모 언어 모델(LLM)을 저자원 도메인에 적응시키는 것은 여전히 어려운 과제입니다. 도메인 내 데이터는 제한적이지만, 도메인 작업과 유사한 질문-답변 형식과 추론 패턴을 공유하는 방대한 양의 일반 도메인 데이터가 존재합니다. 이러한 관찰은 저자원 도메인 적응을 개선하기 위해 유용한 일반 도메인 데이터를 마이닝할 수 있는지에 대한 중요한 질문을 제기합니다. 초기 연구 결과에 따르면, 신중한 선별 과정 없이도 일반 도메인의 사고의 연쇄(Chain-of-Thought) 데이터는 도메인 적응에 유용한 보조 신호를 포함하고 있습니다. 이 관찰은 도메인 특화 데이터에 대한 독점적 의존을 넘어선 도메인 적응의 새로운 패러다임을 이끌어냅니다. 가장 유익한 일반 도메인 샘플을 체계적으로 식별하기 위해, 우리는 학습 역학에서의 정렬을 포착하는 신경 접선 커널(Neural Tangent Kernel)의 능력에 착안한 NTK-Selector를 제안합니다. 사전학습된 LLM에 NTK를 직접 적용하는 것은 비현실적이므로, 야코비안이 없는(Jacobian-free) NTK 근사법을 도입하고 미세조정(fine-tuning) 중에 안정적인 NTK 유사 동작을 실험적으로 입증합니다. 의료, 금융, 법률, 심리 도메인에 걸친 광범위한 실험을 통해 NTK-Selector가 도메인 전용 미세조정 및 기존 데이터 선별 베이스라인을 일관되게 능가함을 보여줍니다. 특히, NTK-Selector는 Llama3-8B-Instruct와 Qwen3-8B에서 각각 +8.7 및 +5.1 포인트의 향상을 달성한 반면, 도메인 전용 미세조정은 각각 +0.8 및 +0.9 포인트의 향상만을 보였습니다.