선형 표현은 어떻게 학습되는가? 추상화 동역학의 정확한 해
How are linear representations learned? Exact solutions to the dynamics of abstraction
인공 및 생물학적 신경망에서 개념은 종종 표현 공간 내의 일관된 선형 방향으로 인코딩된다. 심층 학습(deep learning)에서 이 아이디어는 선형 표현 가설(linear representation hypothesis)로 알려져 있으며, 개념 탐지부터 활성화 조향(activation steering)에 이르기까지 선형 프로브(linear probe)에 기반한 많은 해석 가능성 및 제어 방법의 토대가 된다. 그러나 선행 연구들이 학습 이후 이러한 방향이 존재해야 하는지를 연구한 반면, 학습 중에 이러한 방향이 어떻게 출현하는지에 관한 동역학은 아직 충분히 이해되지 않았다. 본 연구에서는 학습 중 개념 방향의 정렬을 연구하기 위한 프레임워크를 개발하며, 이 과정을 '추상화(abstraction)'라 부른다. 최소한의 선형 네트워크 환경에서 추상화의 전체 궤적에 대한 정확한 해를 도출한다. 이 해들은 추상화를 지배하는 핵심 해석적 원리를 드러낸다: (i) 데이터와 타깃 기하학이 학습 종료 시점의 추상화를 공동으로 결정하고, (ii) 추상화는 네트워크 깊이가 깊을수록 향상되며, (iii) 초기화(initialization) 스케일이 학습 중 도달하는 최대 추상화를 제어한다. 이론을 비선형 네트워크로 확장하여 비선형성의 선택이 추상화 동역학에 미치는 영향을 분석한다: erf 네트워크는 선형 이론에 근사하는 반면, 렐루(ReLU) 네트워크에서의 추상화는 타깃 기하학보다 입력 기하학에 더 의존한다. 두 경우 모두에서 우리는 놀라운 감쇠 법칙(attenuation law)을 증명한다: 두 비선형성 모두 사전 활성화(preactivation)에 비해 활성화(activation)에서의 추상화를 약화시킨다. 우리는 오픈 모델(DINOv3, Gemma 4)에서 이 법칙의 증거를 발견하고, 이론을 대규모 언어 모델(LLM)에서의 선형 프로브 일반화 향상에 적용한다. 종합적으로, 본 연구의 결과는 해석 가능성 및 제어에 함의를 지니는 추상화의 동역학적 이론을 제공한다.