셀프 어텐션(self-attention) 메커니즘은 트랜스포머(Transformer) 구조의 성공에 핵심적인 역할을 합니다. 그러나 표준 행-확률적(row-stochastic) 어텐션은 레이어를 거치면서 심각한 신호 저하를 겪는 것으로 나타났습니다. 특히 토큰 표현이 점차 균일해지는 랭크 붕괴(rank collapse)와 매우 집중된 어텐션 분포를 특징으로 하는 엔트로피 붕괴(entropy collapse)를 유발할 수 있습니다. 최근 연구에서는 엔트로피 정규화의 한 형태로서 이중 확률적(doubly stochastic) 어텐션의 이점을 강조하며, 더욱 균형 잡힌 어텐션 분포를 촉진하여 실증적 성능 향상으로 이어진다는 점을 보여주었습니다. 본 논문에서는 네트워크 깊이에 따른 랭크 붕괴를 연구하고, 싱크혼(Sinkhorn) 알고리즘으로 정규화된 이중 확률적 어텐션 행렬이 표준 소프트맥스(softmax) 행-확률적 어텐션 행렬보다 랭크를 더 효과적으로 보존함을 보입니다. 소프트맥스에서 기존에 입증되었듯이, 스킵 연결(skip connection)은 랭크 붕괴를 완화하는 데 결정적입니다. 우리는 감성 분석과 이미지 분류 태스크 모두에서 이러한 현상을 실증적으로 검증합니다. 나아가 싱크혼 정규화를 사용할 때 순수 셀프 어텐션의 랭크 감쇠에 대한 이론적 경계를 유도하며, 소프트맥스에서 이미 입증된 현상과 마찬가지로 랭크가 네트워크 깊이에 따라 이중 지수적(doubly exponentially)으로 1까지 감쇠함을 발견합니다.
우리는 트랜스포머 피드포워드 블록 아키텍처 설계의 각 구성요소가 초기화 시 깊이에 걸쳐 얼마나 많은 랭크가 남아 있는지를 어떻게 결정하는지 조사한다. 크기를 제어하는 것으로 오래 이해되어 온 스킵 연결(skip connection)과 정규화를, 네트워크를 표현력 있게 만드는 행렬 곱과 비선형 활성화 함수가 랭크를 감소시키기도 하므로, 깊이에 걸쳐 그래디언트 랭크를 보존하는 메커니즘으로 재해석한다. 스킵 연결은 분기(branch)와 스킵의 상대적 스케일에 의해 제어되며, 랭크 붕괴와 앙상블과 유사한 동작 사이의 트레이드오프를 이룬다는 것을 보인다. 스킵 연결은 그래디언트를 랭크가 손실되는 잔차(residual) 분기 주위로 우회시키며, 층들이 합성(compose)하도록 유도하는 긴 그래디언트 경로를 따라가게 하지는 않는다. 정규화 층의 배치는 깊이에 걸쳐 분기 대 스킵 비율을 설정함으로써 동일한 트레이드오프를 제어하며, 특히 Post-Norm에서는 랭크가 붕괴하지만 Pre-Norm에서는 정체되는 이유를 포함하여 정규화 배치 및 깊이 스케일링(depth scaling) 문헌의 상당 부분을 통합한다. 너비를 확장하고 축소하는 이중 행렬 구조와 같은 아키텍처의 다른 측면들은 표현 또는 분기 야코비안 랭크를 보존하기 위해 추가 매개변수를 사용한다. 두 번째 행렬은 단일 행렬과 중심화되지 않은(un centered) 활성화 함수를 사용할 때 블록을 거치며 커질 일관된 평균 스파이크(coherent mean spike)를 탈상관(decorrelate)시켜, 잔차 표현이 붕괴되는 것을 방지한다. 두 행렬 사이의 너비 확장은 분기 야코비안을 full rank로 유지한다. 이 확장된 공간에서 랭크를 감소시키는 활성화 함수를 적용해도 원래 공간을 span할 충분한 방향이 남으며, 이때의 너비는 Marchenko-Pastur 법칙을 따른다. 입력-출력 야코비안의 초기화 랭크는 CIFAR-10에서 어떤 네트워크가 학습되는지를 예측한다. 종합하면, 우리는 깊은 네트워크의 아키텍처 설계를 랭크 붕괴, 앙상블과 유사한 동작, 매개변수 수 사이의 내재적 트레이드오프를 탐색하는 것으로 재구성한다.