둘 다 맞지만 서로 양립할 수 없는 두 가지 관례로 작성된 동일한 문제들로 모델을 학습(training)시키고, 이러한 데이터의 순서가 파라미터에 무엇을 새겨 넣는지 질문해 본다. 학습률 스케줄(learning-rate schedule)은 그 질문에 대한 배경 조건에 불과한 것이 아니다. 그것은 평균화 연산자(averaging operator)이며, 그 해답을 결정한다. 우리는 순서 효과에 배치와 스케줄이 서로 곱해지는 분리된 인수로 들어가는 경계를 증명한다. 배치는 오직 블록 주기(block period)로서만, 스케줄은 종점이 실행 과정의 특정 시점에 얼마나 많은 가중치를 둘 수 있는지로서만 관여한다. 감쇠하는 스케줄(decaying schedule)은 동일한 시점에 큰 보폭(step size)과 수축되지 않은 잔차를 동시에 둘 수 없지만, 상수 스케줄은 마지막 스텝에서 정확히 그렇게 한다. 감쇠가 순서 효과를 완화한다는 점은 사전학습(pre-training)에서 보고된 바 있으나, 그 메커니즘과 분리, 그리고 두 부분에 대한 통제된 측정은 본 연구의 성과이다. 하나의 말뭉치, 하나의 예산으로 경로 외의 모든 것을 고정한 채 10가지 순서로 lr_scheduler_type만 다르고 다른 것은 동일한 군(family) 하에서 두 번 실행하였다. 상수 학습률에서는 내부가 할당에서 0.2221, 11.63의 대비 하한을 차지하며 배치가 얼마나 블록화되어 있는지에 따라 단조성을 띤다. 기발표된 모든 실험군(arm)이 사용하는 단일 코사인 하에서는, 동일한 10개의 실험군이 자체 해상도로는 약 10개를 허용함에도 식별 가능한 2개의 상태를 차지한다. '순서가 중요하다'와 '순서가 중요하지 않다'는 하나의 조절 노브의 양쪽 끝에 해당한다. 경로가 새겨 넣는 것은 모델이 어느 관례에 전념(commit)하는지이며, 어떤 완전 일치(exact-match) 벤치마크도 이를 감지할 수 없다. 12개의 실험군 전반에서 acc_A+acc_B는 9.7% 이내로 일정한 반면 할당 비율은 0.04에서 0.87까지 변동하므로, 본 논문에서 측정하는 12.29-시그마 배치 전환은 관례 무관(convention-agnostic) 지표 하에서는 정확히 0이다. 이러한 보존 법칙은 감쇠군 전체에서 인용된 것으로, 상수 학습률군은 이를 확인하기에 더 노이즈가 많은 환경이다. 프롬프트에 관례를 명시하면 이러한 전환이 붕괴되어 합집합 상한(union ceiling)의 87.5%에 도달한다.
트랜스포머는 실제 학습 과정에서 2단계 학습 다이나믹스를 나타낼 수 있다. 예를 들어, GPT-2를 Counterfact 데이터셋으로 학습할 때, 정답은 구문적으로 잘못된 상태에서 구문적으로 올바른 상태로, 이후 의미적으로 올바른 상태로 진행된다. 그러나 기존의 이론적 분석들은 구문과 의미론 같은 분리된 두 유형의 특징에 개념적으로 귀속될 수 있는 이 특징 수준의 2단계 현상을 거의 설명하지 못한다. 본 논문에서는 2단계 학습 다이나믹스가 트랜스포머에서 어떻게 발생할 수 있는지를 이론적으로 증명한다. 구체적으로, 정규화된 렐루(ReLU) 셀프 어텐션과 구조화된 데이터로 구성된 단순화되었지만 예시적인 설정을 기반으로, 앞서 언급한 분리된 두 유형의 특징 구조에 의해 유도되는 특징 학습 다이나믹스를 분석한다. 이러한 특징 구조의 분리는 실제로 일반적으로 나타나는 현상으로, 예를 들어 자연어는 구문과 의미를 포함하며 단백질은 1차 구조와 2차 구조를 포함한다. 우리가 아는 한, 이는 해당 이론적 프레임워크 내에서 트랜스포머의 특징 수준 2단계 최적화 과정에 관한 첫 번째 엄밀한 결과이다. 또한 따름정리는 이러한 2단계 과정이 어텐션(attention) 가중치의 스펙트럼 특성과 밀접하게 관련되어 있음을 추가로 보여준다.
인공 및 생물학적 신경망에서 개념은 종종 표현 공간 내의 일관된 선형 방향으로 인코딩된다. 심층 학습(deep learning)에서 이 아이디어는 선형 표현 가설(linear representation hypothesis)로 알려져 있으며, 개념 탐지부터 활성화 조향(activation steering)에 이르기까지 선형 프로브(linear probe)에 기반한 많은 해석 가능성 및 제어 방법의 토대가 된다. 그러나 선행 연구들이 학습 이후 이러한 방향이 존재해야 하는지를 연구한 반면, 학습 중에 이러한 방향이 어떻게 출현하는지에 관한 동역학은 아직 충분히 이해되지 않았다. 본 연구에서는 학습 중 개념 방향의 정렬을 연구하기 위한 프레임워크를 개발하며, 이 과정을 '추상화(abstraction)'라 부른다. 최소한의 선형 네트워크 환경에서 추상화의 전체 궤적에 대한 정확한 해를 도출한다. 이 해들은 추상화를 지배하는 핵심 해석적 원리를 드러낸다: (i) 데이터와 타깃 기하학이 학습 종료 시점의 추상화를 공동으로 결정하고, (ii) 추상화는 네트워크 깊이가 깊을수록 향상되며, (iii) 초기화(initialization) 스케일이 학습 중 도달하는 최대 추상화를 제어한다. 이론을 비선형 네트워크로 확장하여 비선형성의 선택이 추상화 동역학에 미치는 영향을 분석한다: erf 네트워크는 선형 이론에 근사하는 반면, 렐루(ReLU) 네트워크에서의 추상화는 타깃 기하학보다 입력 기하학에 더 의존한다. 두 경우 모두에서 우리는 놀라운 감쇠 법칙(attenuation law)을 증명한다: 두 비선형성 모두 사전 활성화(preactivation)에 비해 활성화(activation)에서의 추상화를 약화시킨다. 우리는 오픈 모델(DINOv3, Gemma 4)에서 이 법칙의 증거를 발견하고, 이론을 대규모 언어 모델(LLM)에서의 선형 프로브 일반화 향상에 적용한다. 종합적으로, 본 연구의 결과는 해석 가능성 및 제어에 함의를 지니는 추상화의 동역학적 이론을 제공한다.
심층 학습(deep learning)은 다양한 분야에서 놀라운 성과를 달성하며 인공지능이 가능한 영역의 경계를 크게 확장해 왔다. 그러나 이러한 발전에도 불구하고, 작은 입력 섭동(perturbation)에 대한 강건성(robustness) 확보와 분포 외(out-of-distribution) 데이터에 대한 일반화(generalization)라는 중대한 과제가 남아 있다. 이러한 과제들은 강건성과 일반화를 지배하는 근본적인 원리를 이해할 필요성을 부각시킨다. 이용 가능한 이론적 도구 중에서 립시츠 연속성(Lipschitz continuity)은 강건성과 일반화에 관련된 신경망의 기본 특성을 지배하는 데 핵심적인 역할을 한다. 립시츠 연속성은 작은 입력 섭동에 대한 네트워크 출력의 최악 경우 민감도를 정량화한다. 그 중요성은 널리 인정되고 있으나, 기존 연구는 주로 립시츠 제약에 기반한 경험적 정규화(regularization) 접근 방식에 집중하여 그 이면의 원리는 상대적으로 덜 탐구되었다. 본 논문은 기계 학습 패러다임 내에서 신경망의 립시츠 연속성 원리에 대한 원칙적 이해를 증진하고자 하며, 두 가지 상보적 관점에서 이를 고찰한다. 첫째는 내부적 관점으로, 학습(training) 중 신경망 내 립시츠 연속성의 시간적 변화(즉, 학습 동역학)에 초점을 맞춘다. 둘째는 외부적 관점으로, 립시츠 연속성이 입력 데이터의 특징에 대한 신경망의 동작을 어떻게 조절하는지, 특히 주파수 신호 전파를 지배하는 역할(즉, 주파수 신호 전파의 변조)을 규명한다.
희소 모듈식 덧셈(sparse modular addition) 태스크를 통제된 환경에서 분석하여, 트랜스포머가 경사하강법으로 학습 시 데이터의 불변성을 포착하는 클러스터링 헤드(clustering heads)라는 특화된 어텐션 회로를 자연스럽게 형성함을 이론적·실험적으로 규명하였다. 시각적 샌드박스를 통해 토큰 진화를 추적한 결과, 두 단계 학습 과정과 정규화 레이어의 높은 곡률(curvature)로 인한 손실 스파이크(loss spike) 발생 메커니즘을 밝히며, 이를 대규모 언어 모델(LLM) 사전학습의 불안정성 현상과 연결하였다.
신경망 학습 궤적을 시간적 네트워크로 처리하고 스칼라 임베딩(scalar embedding)을 적용해 고차원 학습 동역학을 저차원으로 압축 표현하는 방법을 제안하며, MNIST 분류 태스크의 다층 퍼셉트론(MLP) 실험을 통해 이 임베딩이 혼돈으로의 전이(transition to chaos), 최대 리아푸노프 지수(Lyapunov exponent) 재구성, 비상관화 시간(decorrelation time) 추정 등 주요 동역학적 특성을 충실히 보존함을 보였다. 또한 임베딩 공간에서 점근적 학습 상태의 간격 분포가 초기 조건에 무관하게 비대칭 로그정규 분포(skew lognormal distribution)로 수렴하는 보편적 통계 구조를 발견하였다.
헤시안 고유벡터의 변위(displacement)와 역참여율(Inverse Participation Ratio)을 통해 SGD와 Adam의 학습 동역학 차이를 분석한 결과, SGD는 상위 곡률 방향이 점진적으로 안정화되는 반면 Adam은 학습 전반에 걸쳐 고유벡터가 지속적으로 재조직화되고 소수 파라미터에 곡률이 집중되는 국소화 현상을 보임을 확인하였다.
Observable Matrix Dynamics (OMD)는 신경망 학습 과정에서 스칼라 손실 함수로는 포착할 수 없는 내부 표현의 스펙트럼 재편성을 N×N 거리 행렬 M(t)와 랜덤 행렬 이론을 통해 진단하는 프레임워크다. 7가지 실험에서 확산적(diffusive) 체제와 날카로운 위상 전이(phase transition)를 구분하여, 단일 내재적 차원 대신 표현의 기하학적 체제를 식별해낸다.
클래스 의존적·상관된 잠재 공분산을 갖는 다중 특징 GAN의 풀 수 있는 고차원 모델에서, 이질성이 확률 가중 유효 2차 모멘트로 축약되어 미시적 학습이 고차원 극한에서 결정론적 ODE로 수렴함을 증명한다. 안정성 분석은 선행 유효 고유값과 학습률·노이즈로 정해지는 모드별 풀 수 있는 구간을 제시하며, 저랭크 상관이 약한 방향을 학습 가능성 임계값 위로 끌어올리는 신호 증폭과 과도한 상관의 불안정화를 보여주고, MNIST·FashionMNIST·CIFAR-10에서 정보를 반영한 생성기 공분산이 데이터 기반 부분공간 정렬을 개선함을 확인한다.
학습 중 목표 함수를 낮은 주파수에서 높은 주파수 순으로 맞추는 주파수 원리(F-Principle)를 푸리에 분석으로 일반 다층 DNN의 초기·중간·최종 학습 단계에서 각각 정리로 특성화한다. ReLU·sigmoid·tanh 등 일반 활성화 함수, 데이터 모집단 밀도, 넓은 범위의 손실 함수에도 성립하며 DNN 학습 동역학 이해의 이론적 기반을 제공한다.
소프트웨어 결함 예측(SDP) 데이터셋에서 클래스 불균형과 클래스 중첩이 동시에 발생할 때 딥러닝 모델의 학습 동역학(training dynamics)에 어떤 패턴이 나타나는지를 규명하는 연구로, UBD 클래스 수준 데이터셋에 고정 MLP를 적용해 단일 조건·결합 조건별 개입 실험을 수행한다. 기존 연구가 엔드포인트 성능 지표에만 집중했던 한계를 넘어, 그래디언트·가중치·오류 궤적 등 학습 내부 패턴에 대한 상호작용 인식 분류 체계를 제안하는 것을 목표로 한다.
신경망(NN) 학습 과정이 불투명한 이유를 복잡계 동역학의 관점에서 분석하며, 가중치 초기화 민감성, 경사 기반 최적화의 피드백, 학습 데이터 민감성이라는 세 가지 훈련 복잡도의 핵심 속성이 학습 불투명성(learning opacity)에 어떻게 기여하는지를 규명한다. 이 속성들은 학습 과정에 본질적으로 내재되어 있어 일부 불투명성의 원인은 근본적으로 제거 불가능할 수 있음을 논증한다.
트랜스포머 가중치 분포를 진단하는 2-매개변수 와이불 프레임워크를 기반으로, 우리는 AdamW 학습 동안 와이불 가중치 스케일 매개변수 $\lambda$가 왜 증가했다가 오버슈트한 뒤 이완되는지 연구합니다. 우리는 AdamW 업데이트로부터 가중치 제곱 놈의 선행 차수 3-힘 분해를 유도합니다: 가중치와 적응형 업데이트 방향 간의 상관관계를 측정하는 정렬 힘(alignment force), 적응형 스텝 크기로 인한 주입 힘(injection force), 그리고 분리된 가중치 감쇠(decoupled weight decay)로 인한 감쇠 힘(decay force)입니다. 실제 옵티마이저 모멘트(ground-truth optimizer moments)를 가진 직접 학습된 Pythia-70M 모델에서, 정렬 힘은 상승 단계를 지배하며 4개의 무작위 시드(random seeds)에 걸쳐 절대 힘 예산의 88-94%를 기여하고 슈퍼 가중치(super-weight) 제거 후에도 견고성을 유지합니다. 포화 상태에 근접하면 정렬과 감쇠가 균형을 이루어, 가중치 스케일 증가에서 이완으로의 전이를 설명합니다. 이러한 힘 동역학은 $\lambda(t)$의 기저에 있는 제곱 놈 구성 요소를 직접 제어합니다. 나머지 RMS-와이불 재구성 오프셋(offset)은 측정 가능하며 브리지(bridge) 및 적분(integration) 구성 요소로 분해되어, 밀집 샘플링 영역에서 총 약 5-6%를 차지합니다. 옵티마이저 모멘트를 사용할 수 없는 실제 모델로 분석을 확장하기 위해, 우리는 희소 체크포인트(sparse checkpoints)에서 정렬 힘을 약 92-94%의 정확도로 복원하는 스플라인 변위(spline displacement) 방법을 도입했으며, 이는 순진한 2점 기준선(naive two-point baseline)보다 약 두 배 높습니다. 우리는 실험에서 $\lambda(t)$의 최댓값이 학습 데이터 일관성(training-data coherence)에 따라 달라진다는 점을 추가로 관찰했으며, 이는 가중치 스케일 증가의 데이터 의존적 요소가 있음을 시사하므로 이에 대한 통제된 후속 연구로 남겨둡니다. 코드와 데이터는 https://github.com/tiexinding/NPM-Weibull-public 에서 확인할 수 있습니다.
충격파 이론과 대칭성 몫 확률적 경사하강법(SGD) 학습 역학을 미분 기하학, 리 군 이론, 유체 역학으로 연결하고, 매개변수 대칭 몫 연산과 국소 엔트로피 조립화를 적용하면 몫 다양체에서 점성 해밀턴-야코비 방정식이 성립하며 조립화 손실 그래디언트는 버거스 유형 방정식을 따른다는 것을 엄밀히 보입니다. 다층 퍼셉트론, CNN, 트랜스포머, 평균장 네트워크에 적용했고, 대칭성 보정 몫 관측량이 학습 단계 전이를 모니터링하고 예측·제어하는 데 원칙적 기반을 제공할 수 있음을 제안합니다.
트랜스포머의 가중치 분포를 진단하기 위해 와이불 분포(Weibull distribution)를 적용한 프레임워크를 제안하여, FFN 모듈과 어텐션 출력 레이어는 좁은 형상 파라미터(k) 대역을 공유하는 반면 어텐션 입력 레이어는 아키텍처에 따라 분포 특성이 달라짐을 확인했다.
고정된 컴퓨팅 예산 하에서 작은 Llama 스타일 언어 모델의 학습 역학을 반복 측정 설계로 분석한 결과, 검증 손실과 혼란도가 초기에는 개선되다가 후반기에는 다시 악화되는 비단조적(non-monotonic) 패턴이 관찰되었다. 이는 제한된 컴퓨팅 환경에서 추가적인 토큰 학습이 비례하는 일반화 이득을 보장하지 않으며, 학습 궤적을 통해 불안정성을 파악하는 것이 중요함을 시사한다.
AI에 대한 과학적 이해란 무엇을 의미하는가? 모델(model)은 정적인 객체가 아닙니다. 이는 데이터, 목표, 아키텍처, 최적화 역학에 의해 형성되는 시간에 따라 진화하는 과정의 스냅샷입니다. 그러나 많은 AI 연구는 모델을 고정된 인공물로 취급하며, 왜 그러한 행동이 나타나는지 묻기보다는 학습(training) 후 행동을 분석합니다. 본 입장서는 AI의 과학이 사후 수정(post-hoc fixes)을 넘어서 모델 행동을 생성하는 학습 역학을 연구해야 한다고 주장합니다. 이러한 과학은 점진적으로 더 강력한 형태의 이해를 지원해야 합니다. 즉, 초기 학습 신호로부터 결과를 예측하고, 궤적이 잘못되었을 때 개입하며, 궁극적으로 원하는 속성을 더 신뢰할 수 있게 생성하는 학습 절차를 설계하는 것입니다. 스케일링 법칙은 손실(loss)에 대한 예측을 일상적인 것으로 만들었지만, 도전 과제는 이 성공을 능력, 바이어스, 강건성, 안전성 관련 행동으로 확장하는 것입니다. 우리는 과학사와 과학철학에 기반하여 이러한 이론들의 요구사항을 명확히 하고, 기계적 해석가능성, 공정성, 암기, 단순성 바이어스(simplicity bias)의 진전을 살펴보며, 구체적인 미해결 문제들을 식별합니다.