트랜스포머 가중치 분포 진단을 위한 2-매개변수 와이불 프레임워크
A Two-Parameter Weibull Framework for Diagnosing Transformer Weight Distributions
트랜스포머의 가중치 분포를 진단하기 위해 와이불 분포(Weibull distribution)를 적용한 프레임워크를 제안하여, FFN 모듈과 어텐션 출력 레이어는 좁은 형상 파라미터(k) 대역을 공유하는 반면 어텐션 입력 레이어는 아키텍처에 따라 분포 특성이 달라짐을 확인했다.