LayerNorm 트랜스포머에서의 대수적 죽은 방향: LLM 규모에서의 순전파 전용 진단
Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale
사전학습된 트랜스포머는 손실(loss)의 특이 최솟값 근처에 위치하며, 여기서 피셔 정보 메트릭은 죽은 방향(dead directions)을 따라 퇴화합니다: 이는 매개변수 공간에서 방향성 피셔가 0이 되는 방향들입니다. 이러한 방향을 찾는 것은 일반적으로 순전파(forward pass)와 활성화(activations)의 고유분해, 또는 샘플링 기반 복잡도 추정이 필요합니다. 그러나 이 방법들은 네트워크의 매개변수(parameter)만으로 계산할 수 있는 방향을 반환하지 않습니다. 본 연구에서는 LayerNorm 트랜스포머에 대해 그러한 방향을 제시합니다. LayerNorm 아핀(affine)의 역스케일 방향 $γ^{-1}/\|γ^{-1}\|$은 모든 입력 분포에 대해 최종 정규화 후 중심화된 활성화 공분산의 정확한 대수적 커널(kernel)이며, 매개변수 공간에서 해당하는 죽은 방향을 유도합니다. 이는 순전파나 역전파, 고유값 풀이 없이 LN 스케일 매개변수만으로 읽어낼 수 있습니다. 이는 LayerNorm에 특화된 가장 비용 효율적인 죽은 방향 탐지 방법입니다. 우리는 14개의 사전학습된 트랜스포머(9개 LayerNorm, 5개 RMSNorm; 160M-35B; 언어 및 비전 목적)에서 이를 테스트했습니다. 무작위 초기화 시, 예측된 방향은 9개의 LayerNorm 모델 모두에서 측정된 최하위 특이 방향(한 번의 순전파, 직접 SVD)과 소수점 네 번째 자리까지 일치했습니다. 반면, 이를 생성하는 평균 감산 프로젝터(mean-subtraction projector)가 없는 5개의 RMSNorm 모델에서는 해당 방향이 올바르게 나타나지 않았습니다. 학습된 체크포인트(checkpoint)에서 이 방향에 따른 공분산 고유값은 약 $10^3$배 깊어지며 추가적인 죽은 방향이 나타납니다. 초기화-학습 간의 차이는 예측된 좌표를 따른 특이 구조에 대한 체크포인트당 단일 순전파 판독값입니다. 이로부터 두 가지 결과가 해석적 형태(closed form)로 도출됩니다. 첫째, 자체 입력 분포에서 측정된 14개 트랜스포머 중 13개에서 잔차 스트림(residual stream)의 최소 특이값이 블록 간에 보존되었습니다. 단일 예외(Gemma$4$-$31$B)는 동일한 판독 방식이 지적한 진짜 죽은 방향입니다. 둘째, 커널(kernel) 방향의 존재 여부만으로 매개변수만을 통해 트랜스포머의 정규화 방식을 분류할 수 있습니다.