본 연구에서는 지도 회귀(supervised regression)를 위한 통계적 특징 학습(statistical feature learning)의 기하학적 정식화를 제안합니다. 특징 학습은 베이스-파이버 분해(base–fiber decomposition)를 통해 정의됩니다. 여기서 베이스는 학습(training)에 의해 생성된 특징 측면의 기하학이며, 파이버는 추정이 수행되는 학습된 특징 공간입니다. 음의 엔트로피 정규화(regularization)된 경험적 위험의 바서슈타인 그래디언트(gradient) 흐름으로 간주되는 구면 평균장 랑주뱅 역학(mean-field Langevin dynamics)에 대해 이러한 성질을 증명합니다. 가우시안 다중 인덱스 모델(Gaussian multi-index models)에서 저온 정상 분포는 은닉 인덱스 부근에 집중되고 다중 스파이크 구조를 형성하며, 음의 엔트로피 정규화가 집중을 억제함에도 불구하고 높은 확률로 매개변수(parameter) 복구를 산출합니다. 이러한 집중 현상은 온도 $λ\asymp 1$에서 급격한 전이를 보입니다. 가우시안 단일 인덱스 모델에서 정상 측도는 집중 성질을 만족하며, 패리티(parity)에 따라 해당 측도가 $S_2^{d-1}$에 존재하는지 또는 $\mathbb{RP}^{d-1}$에 존재하는지가 결정됩니다. 이렇게 유도된 학습된 특징 공간은 회귀 신호를 정렬하고 로그 인수를 제외하고 $d/N$ 및 $Md/N$의 수렴률을 산출합니다.
현대 AI 시스템을 백도어 공격(backdoor attack)으로부터 보호하는 것은 여전히 미해결 과제로 남아 있으며, 성공적이면서도 은밀한 공격을 설계하는 데 필요한 공격자 자원(adversary's budget), 즉 오염 비율 $π$와 트리거 강도(trigger strength) $α$에 대한 근본적이고 원리적인 추정이 필요합니다. 깨끗한 데이터셋이 커지더라도 대규모 언어 모델(LLM)을 오염시키는 데 거의 일정한 수의 악성 샘플만이 필요할 수 있다는 최근 실증적 증거에 착안하여, 본 연구는 오염된 가우시안 혼합(Gaussian mixture)에서 학습된 2차 뉴런(quadratic neuron)에 대한 정확한 닫힌 형태 분석(closed-form analysis)을 도출합니다. 연구 결과, 직관에 반할 수도 있지만 신경망을 강력하게 만드는 바로 그 특징 학습(feature learning) 역학이 역설적으로 신경망을 백도어에 더 취약하게 만들 수 있음을 보여줍니다. 구체적으로, 깨끗한 데이터에 대한 정확도가 1차 근사 $O(π)$로 보존되는 상황에서 레이지 러닝(lazy learning)은 성공적인 공격을 위해 역제곱근 스케일링인 $α\propto π^{-1/2}$을 요구하는 반면, 특징 학습은 손실 마진(loss margin)이 $O(α^4)$로 스케일링되는 2차 탐지기(quadratic detector)를 유도하여 공격 자원을 $α\propto π^{-1/4}$로 개선함을 입증합니다. 결과적으로 비선형 특징 학습은 작은 오염 비율에서 요구되는 트리거 강도를 대폭 낮추며, 이는 어떤 면에서 특징 학습 모델을 백도어에 더 취약하게 만듭니다. 이러한 결과는 대규모 실증적 관찰과 일치하는 이론적 메커니즘을 제공하며, 선형 휴리스틱에 기반한 보안 감사가 널리 채택된 특징 학습 체계에서 백도어 취약성을 체계적으로 과소평가할 수 있음을 보여줍니다.
H-Score 기반 특징 학습(feature learning)에서 유한 폭(finite-width) 신경망의 절단 오차(truncation error)가 입력 기저(basis)에 민감함을 이론적으로 증명하고, 근사 정상(stationary) 과정에 대해 FFT를 저비용 전처리기(preconditioner)로 적용하면 8개 다변량 데이터셋에서 NMSE를 최대 50%까지 감소시킬 수 있음을 실험으로 검증했다. 또한 네트워크 학습 전에 스펙트럼 엔트로피와 누적 의존 에너지 기반의 학습-불필요(training-free) 지표를 도입해 FFT 전처리의 효과를 사전 예측할 수 있음을 보였다.
Pretraining and fine-tuning are central stages in modern machine learning systems. In practice, feature learning plays an important role across both stages: deep neural networks learn a broad range of useful features during pretraining and further refine those features during fine-tuning. However, an end-to-end theoretical understanding of how choices of initialization impact the ability to reuse and refine features during fine-tuning has remained elusive. Here we develop an analytical theory of the pretraining fine-tuning pipeline in diagonal linear networks, deriving exact expressions for the generalization error as a function of initialization parameters and task statistics. We find that different initialization choices place the network into four distinct fine-tuning regimes that are distinguished by their ability to support feature learning and reuse and therefore by the task statistics for which they are beneficial. In particular, a smaller initialization scale in earlier layers enables the network to both reuse and refine its features, leading to superior generalization on fine-tuning tasks that rely on a subset of pretraining features. We demonstrate empirically that the same initialization parameters impact generalization in ResNets trained on CIFAR-100 and SVHN as well as Transformers trained on modular arithmetic tasks. Overall, our results demonstrate an alytically how data and network initialization interact to shape fine-tuning generalization, highlighting an important role for the relative scale of initialization across different layers in enabling continued feature learning during fine-tuning.
샘플 크기에 비해 입출력 차원과 은닉 뉴런 수가 sublinear하게 성장하는 sublinear DNN이 계층적 합성(compositional) 목표함수 학습에서 특징 학습 일관성(feature learning consistency)을 보장함을 통계적으로 증명했으며, 파라미터 수가 학습 샘플 수를 넘는 over-parameterized 영역에서도 성립한다. 실험에서 sublinear DNN은 wide DNN과 동등하거나 더 나은 예측 성능을 보였고, AlexNet·VGGNet·ResNet·GoogLeNet 등 주요 CNN도 이미지 분류 벤치마크에서 sublinear 구조로 확인되어 대규모 이미지 데이터셋에서의 딥러닝 성공을 통계적 관점에서 설명한다.