PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10761v1stat.ML

선형 어텐션은 비선형 교사로부터 문맥 내에서 무엇을 학습할 수 있는가?

What can linear attention learn from nonlinear teachers in-context?

선형 어텐션(linear attention)은 트랜스포머의 문맥 내 학습(ICL)을 지배하는 메커니즘을 이해하기 위한 다루기 쉬운 모델이다. 선형 회귀 태스크의 경우, 최근의 점근적 분석을 통해 그 학습 및 일반화 동작이 규명된 바 있다. 본 연구에서는 이 이론을 비선형 단일 인덱스 타깃 $y=f(x^\top w)+\varepsilon$으로 확장한다. 본 연구의 주요 결과는 비선형성-노이즈 등가성(nonlinearity-noise equivalence)을 확립한다. 즉, 선형 어텐션은 $f$의 선형 에르미트(Hermite) 성분만을 추출하며, 나머지 비선형 구조는 유효 노이즈로서 일반화 오차에 기여한다. 이러한 축소를 통해 해당 선형 이론의 결과들을 비선형 태스크로 이전할 수 있다. 본 연구에서는 유한한 사전학습(pre-training) 데이터 환경과 태스크 다양성 증가에 따른 태스크 암기에서 태스크 일반화로의 전이에 대해 이것이 갖는 함의를 보여준다. 이러한 결과는 축소된 선형 어텐션 모델의 한계를 규명하고, 비선형 문맥 내 학습을 연구하기 위한 다루기 쉬운 출발점을 제공한다.

arXiv:2607.06369v2math.OC

딥 리츠 방법을 활용한 고차원 정상 슈뢰딩거 방정식의 특징 학습

Feature Learning for the High Dimensional Stationary Schödinger Equation with Deep Ritz Method

딥 리츠 방법(deep Ritz method) 프레임워크에서 고차원 정상 슈뢰딩거 방정식을 풀기 위한 뉴럴 네트워크의 특징 학습 메커니즘을 이론적으로 분석하며, 단일 인덱스 모델에서 리만 경사하강법이 O(log(1/ε)) 반복 내에 근사적 전역 최솟값에 수렴함을 증명한다. 또한 두 뉴런 다중 인덱스 모델에서 정규화 강도에 따라 두 번째 특징 벡터가 어떻게 출현하는지 특성화하고, 수치 실험으로 이를 검증한다.

arXiv:2607.10869v1cs.LG

Singular perturbations and hierarchical learning in two-layer neural networks

We study the population gradient flow of an infinitely wide two-layer neural network learning a misspecified single-index model in high dimension. The two layers are optimized jointly, with a perturbative parameter tuning the relative training speed between the first and second layer. This setting was considered by Berthier, Montanari and Zhou in \cite{berthier2024learning}, who conjectured a hierarchical learning scenario with explicit timescales as the second layer is trained faster than the first. In this paper, we prove that the constant and linear components of the hidden link function are indeed recovered within the predicted timescales, at sharp explicit thresholds. We then analyze the onset of learning of the quadratic component and show that the components learned at earlier stages continue to influence the dynamics in an essential way. Our proof is based on quantitative approximation results for singularly perturbed flows evolving near a manifold defined by integral constraints. At a phenomenological level, we also show that the empirical measure of the weights displays singular behaviour when reaching the quadratic component of the hidden link, with a small fraction of neurons growing significantly while the remaining ones rearrange to preserve the components already learned.

arXiv:2607.03347v1cs.LG

The Multiscale Single-Index Model: A Stylized Model for Hierarchical Feature Learning

다중스케일 단일 인덱스 모델(MSIM)을 계층적 특징 학습의 이론적 틀로 분석하여, Edgeworth 전개를 통한 위너 카오스(Wiener chaos)의 세밀한 저랭크 구조를 규명하고 얕은 네트워크 대비 깊이의 이점을 정량화한다. 상관 목적함수에 대한 온라인 SGD가 $n = \widetilde{O}(d^{K-1})$ 샘플로 $1 - o_d(1)$ 복원을 달성함을 증명하며, 이는 선형 모델인 Tensor PCA와 동일한 샘플 복잡도임을 보인다.

arXiv:2606.29658v1stat.ME

Multi-Source Transfer Learning of Sparse Single-Index Models

원시 소스 데이터 없이 일반화된 Stein's lemma로 유도한 요약 통계만을 일회성으로 전달하는 단일 인덱스 모델(SIM) 기반 전이학습 프레임워크를 제안한다. 전달받은 통계에서 사전 추정된 인덱스로 다층 퍼셉트론(MLP)을 가이드함으로써 도메인 간 미지의 비선형 링크 함수 차이에 적응하며, 합성 및 실제 데이터 실험에서 기존 (일반화) 선형 모델 기반 전이학습 방법을 일관되게 능가함을 보인다.

arXiv:2606.06957v1stat.ML

심층 단일 인덱스 프레셰 회귀

Deep Single-Index Fréchet Regression

확률 분포, 네트워크, 대칭 양정정 행렬(symmetric positive-definite matrices)과 같은 비유클리드 공간(non-Euclidean spaces)에 위치한 출력을 예측하는 것은, 특히 입력이 고차원(high-dimensional)인 경우 현대 데이터 분석에서 점점 더 중요해지고 있습니다. 본 논문에서는 거리 공간 값(metric space-valued) 출력과 다변량 입력에 대한 회귀를 위한 반모수적(semiparametric) 프레임워크인 DeSI (Deep Single-Index Fréchet Regression)를 제안합니다. 이 방법은 조건부 Fréchet 평균(conditional Fréchet mean)에 대해 단일 인덱스(single-index) 구조를 가정합니다. DeSI는 심층 신경망(deep neural network)을 사용하여 입력의 상대적 중요도를 정량화하는 해석 가능한 인덱스 방향을 추정하고, 목표 거리 공간(target metric space)에서 결과로 나온 1차원 인덱스를 따라 Fréchet 회귀를 수행합니다. 이러한 구조는 해석 가능성을 유지하면서 차원의 저주(curse of dimensionality)를 완화하며, 이는 표준 심층 신경망과 대조적입니다. 우리는 균일 근사(uniform approximation) 및 수렴 속도(convergence rates)를 포함한 DeSI의 이론적 보장을 확립하고, 분포, 네트워크, 대칭 양정정 행렬에 대한 시뮬레이션과 뉴저지의 구성 기분 데이터(compositional mood data)에 대한 적용을 통해 그 강력한 예측 성능을 입증합니다.