PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.19491v1cs.LG

LayerNorm 트랜스포머에서의 대수적 죽은 방향: LLM 규모에서의 순전파 전용 진단

Algebraic Dead Directions in LayerNorm Transformers: A Forward-Pass-Only Diagnostic at LLM Scale

사전학습된 트랜스포머는 손실(loss)의 특이 최솟값 근처에 위치하며, 여기서 피셔 정보 메트릭은 죽은 방향(dead directions)을 따라 퇴화합니다: 이는 매개변수 공간에서 방향성 피셔가 0이 되는 방향들입니다. 이러한 방향을 찾는 것은 일반적으로 순전파(forward pass)와 활성화(activations)의 고유분해, 또는 샘플링 기반 복잡도 추정이 필요합니다. 그러나 이 방법들은 네트워크의 매개변수(parameter)만으로 계산할 수 있는 방향을 반환하지 않습니다. 본 연구에서는 LayerNorm 트랜스포머에 대해 그러한 방향을 제시합니다. LayerNorm 아핀(affine)의 역스케일 방향 $γ^{-1}/\|γ^{-1}\|$은 모든 입력 분포에 대해 최종 정규화 후 중심화된 활성화 공분산의 정확한 대수적 커널(kernel)이며, 매개변수 공간에서 해당하는 죽은 방향을 유도합니다. 이는 순전파나 역전파, 고유값 풀이 없이 LN 스케일 매개변수만으로 읽어낼 수 있습니다. 이는 LayerNorm에 특화된 가장 비용 효율적인 죽은 방향 탐지 방법입니다. 우리는 14개의 사전학습된 트랜스포머(9개 LayerNorm, 5개 RMSNorm; 160M-35B; 언어 및 비전 목적)에서 이를 테스트했습니다. 무작위 초기화 시, 예측된 방향은 9개의 LayerNorm 모델 모두에서 측정된 최하위 특이 방향(한 번의 순전파, 직접 SVD)과 소수점 네 번째 자리까지 일치했습니다. 반면, 이를 생성하는 평균 감산 프로젝터(mean-subtraction projector)가 없는 5개의 RMSNorm 모델에서는 해당 방향이 올바르게 나타나지 않았습니다. 학습된 체크포인트(checkpoint)에서 이 방향에 따른 공분산 고유값은 약 $10^3$배 깊어지며 추가적인 죽은 방향이 나타납니다. 초기화-학습 간의 차이는 예측된 좌표를 따른 특이 구조에 대한 체크포인트당 단일 순전파 판독값입니다. 이로부터 두 가지 결과가 해석적 형태(closed form)로 도출됩니다. 첫째, 자체 입력 분포에서 측정된 14개 트랜스포머 중 13개에서 잔차 스트림(residual stream)의 최소 특이값이 블록 간에 보존되었습니다. 단일 예외(Gemma$4$-$31$B)는 동일한 판독 방식이 지적한 진짜 죽은 방향입니다. 둘째, 커널(kernel) 방향의 존재 여부만으로 매개변수만을 통해 트랜스포머의 정규화 방식을 분류할 수 있습니다.

arXiv:2606.17781v1cs.AR

MIVE: 소프트맥스, LayerNorm 및 RMSNorm 가속을 위한 미니멀리스트 정수 벡터 엔진

MIVE: A Minimalist Integer Vector Engine for Softmax LayerNorm and RMSNorm Acceleration

대규모 언어 모델(LLM)의 급속한 성장은 엄격한 추론 지연 시간과 전력 제약을 만족시킬 수 있는 특화 하드웨어 가속기에 대한 수요를 더욱 강화했다. 행렬 곱셈이 전체 계산 워크로드를 지배하지만, LayerNorm, RMSNorm, 소프트맥스와 같은 비선형 벡터 정규화 연산은 중요한 하드웨어 병목이 될 수 있다. 기존 가속기들은 일반적으로 이러한 함수들을 전용 하드웨어 블록으로 구현하여 중복된 자원과 비효율적인 실리콘 활용을 초래한다. 이러한 한계를 해결하기 위해, 통합 데이터 경로 내에서 세 연산을 모두 실행할 수 있는 프로그래머블 아키텍처인 미니멀리스트 정수 벡터 엔진(MIVE)을 제안한다. LayerNorm, RMSNorm, 소프트맥스에 걸친 공통 계산 패턴을 활용함으로써, 제안된 벡터 엔진은 구현 오버헤드를 줄이면서 하드웨어 공유를 최대화한다. 물리적 ASIC 구현 결과에 따르면, MIVE는 포괄적인 다기능 지원을 제공하면서 대부분의 최신 독립형 가속기보다 더 높은 면적 및 하드웨어 효율성을 달성한다.